82472

Автор(ы): 

Автор(ов): 

3

Параметры публикации

Тип публикации: 

Статья в журнале/сборнике

Название: 

Динамическое разделение труда в гибридном ии: стратегии кодировщиков и их воздействие на модуляторы на основе сетей долгой краткосрочной памяти

ISBN/ISSN: 

2686-9543

DOI: 

10.7868/S2686954325070100

Наименование источника: 

  • Доклады Российской академии наук. Математика, информатика, процессы управления

Обозначение и номер тома: 

Т. 527 № S

Город: 

  • Москва

Издательство: 

  • ФГБУ "Издательство "Наука"

Год издания: 

2025

Страницы: 

117-133
Аннотация
Взаимодействие между пространственными кодировщиками, такими как сверточные нейронные сети (CNN) и визуальными трансформерами (Vision Transformers, ViT), и временными модуляторами, подобными модуляторам на основе сетей долгой краткосрочной памяти (LSTM), является основополагающим для гибридных моделей, однако динамика этого процесса остается недостаточно изученной. В настоящем исследовании представлена междоменная методология, использующая метрики из теории информации и принцип Марковского информационного бутылочного горлышка (MIB) для количественной оценки внутренних информационных потоков в данных архитектурах. Мы анализируем две различные модели - CNN-LSTM для обработки видеоданных наблюдения и ViT-LSTM для анализа медицинских функциональных МРТ (фМРТ)-последовательностей - как в их исходных, так и в чужеродных для них предметных областях. Наш анализ выявляет две принципиально различные стратегии кодирования. CNN использует жесткую, не зависящую от данных схему “постепенного сжатия”. В отличие от него, ViT демонстрирует стратегию “адаптивного сжатия”, при которой успешное формирование эффективного информационного бутылочного горлышка обусловлено предметной областью данных. Мы показываем, что такая адаптивность обеспечивается тонко настроенной трехэтапной функциональной иерархией внутри ViT. Более того, мы обнаружили, что роль модулятора LSTM адаптируется к его партнеру: в паре с CNN он действует как традиционный компрессор, но при работе с ViT переключается на роль “распаховщика” для обработки получаемых им гиперсжатых представлений. Мы предполагаем, что это сложное взаимодействие является примером принципа “динамического разделения труда”, в рамках которого функциональные роли не являются фиксированными, а возникают в результате взаимодействия системы с данными. Данный вывод ставит под сомнение статичное представление о компонентах нейронных сетей и открывает путь к созданию более устойчивого и контекстно-зависимого искусственного интеллекта.

Библиографическая ссылка: 

Зверева А.К., Грабовой А.В., Каприелова М.С. Динамическое разделение труда в гибридном ии: стратегии кодировщиков и их воздействие на модуляторы на основе сетей долгой краткосрочной памяти // Доклады Российской академии наук. Математика, информатика, процессы управления. 2025. Т. 527 № S. С. 117-133.