82619

Автор(ы): 

Автор(ов): 

3

Параметры публикации

Тип публикации: 

Тезисы доклада

Название: 

Декодирование визуальных стимулов из мультимодальных сигналов мозга

ISBN/ISSN: 

978-5-317-07438-8

Наименование конференции: 

  • 22-я Всероссийская конференция с международным участием "Математические методы распознавания образов" (Муром, 2025)

Наименование источника: 

  • Тезисы докладов 22-й Всероссийской конференции с международным участием "Математические методы распознавания образов" (Муром, 2025)

Город: 

  • Муром

Издательство: 

  • МАКС Пресс

Год издания: 

2025

Страницы: 

124-126
Аннотация
Человеческий мозг остается одной из малоизученных структур, несмотря на значительное количество исследований в этой области. Понимание механизмов обработки визуальной информации мозгом является ключевой задачей в об ласти нейронауки и разработки интерфейсов мозг — компьютер. Декодирование визуальной информации на основе нейронных сигналов может значительно расширить наши знания о функционировании мозга. В данной работе ставит ся задача реконструкции наблюдаемых изображений на основе одновременных сигналов функциональной магнитно-резонансной томографии (фМРТ) и электроэнцефалографии (ЭЭГ). Для оценки качества энкодера сигналов мозга используется CLIP-Score, измеряющий косинусное расстояние между объединенными эмбеддингами и эмбеддингами изображений. Этот показатель позволяет оценить, насколько хо рошо модель способна выравнивать нейросигналы с визуальными стимулами. Результаты демонстрируют, что комбинирование данных фМРТ (обеспечивающих высокое пространственное разрешение) и ЭЭГ (обеспечивающей высокое временное разрешение) приводит к значительному улучшению качества реконструкции визуальных стимулов по сравнению с использованием каждой модальности по отдельности. Предложенный фреймворк открывает новые перспективы для разработки интерфейсов мозг-компьютер, эффективно использующих преимущества пространственной и временной информации, извлекаемой из нейросигналов.

Библиографическая ссылка: 

Дорин Д.Д., Киселев Н.С., Грабовой А.В. Декодирование визуальных стимулов из мультимодальных сигналов мозга / Тезисы докладов 22-й Всероссийской конференции с международным участием "Математические методы распознавания образов" (Муром, 2025). Муром: МАКС Пресс, 2025. С. 124-126.