Механизм внимания является ключевой частью современных языковых моделей. Несмотря на это, их математическому описанию на данный момент уделяется незначительное внимание. В данной работе мы проводим обзор последних результатов в этой области, связанных с рассмотрением механизма внимания как системы взаимодействующих частиц (interacting particle system). Механизм внимания рассматривается как марковское ядро, преобразующее заданные в виде вероятностных мер представления токенов. Вероятно, такое представление позволит изучить аналитические свойства механизма.