85439

Автор(ы): 

Автор(ов): 

3

Параметры публикации

Тип публикации: 

Статья в журнале/сборнике

Название: 

Декодирование визуальной информации из нейронных сигналов: реконструкция изображений на основе совместного анализа функциональной магнитно-резонансной томографии и электроэнцефалографии

ISBN/ISSN: 

1992-2264

DOI: 

10.14357/19922264260203

Наименование источника: 

  • Информатика и ее применения

Обозначение и номер тома: 

Т. 20, вып. 2

Город: 

  • Москва

Издательство: 

  • ИПИ РАН

Год издания: 

2026

Страницы: 

35-49
Аннотация
Реконструкция визуальных стимулов по нейронным сигналам представляет собой фундаментальную задачу нейродекодирования, находящуюся на стыке вычислительной нейронауки и машинного обучения. Несмотря на успехи, достигнутые благодаря применению контрастивного обучения и диффузионных генеративных моделей, большинство существующих подходов ограничены использованием лишь одной модальности: либо функциональной магнитно-резонансной томографии (фМРТ) с высоким пространственным разрешением, либо электроэнцефалографии (ЭЭГ) с высокой временной точностью. Совместное использование этих модальностей остается малоизученным направлением. В данной работе предложена мультимодальная архитектура, одновременно обрабатывающая сигналы фМРТ и ЭЭГ для реконструкции визуальных стимулов. Эмбеддинги мозговой активности обучаются контрастивно для их сближения с CLIP (Contrastive Language-Image Pretraining) представлениям изображений. Предложенная двухстадийная схема генерации включает синтез промежуточного латентного представления с помощью априорной модели, обученной на совместных фМРТ–ЭЭГ-векторах, и последующее декодирование этого представления предобученной диффузионной моделью, обусловленной CLIP-эмбеддингами. Эксперименты на открытом мультимодальном датасете подтверждают эффективность разработанной архитектуры в задаче нейродекодирования. По метрике CLIP-Score мультимодальная модель превосходит одномодальные аналоги, что подчеркивает значимость совместного анализа фМРТ и ЭЭГ для точной реконструкции визуальных стимулов.

Библиографическая ссылка: 

Дорин Д.Д., Киселев Н.С., Грабовой А.В. Декодирование визуальной информации из нейронных сигналов: реконструкция изображений на основе совместного анализа функциональной магнитно-резонансной томографии и электроэнцефалографии // Информатика и ее применения. 2026. Т. 20, вып. 2. С. 35-49.