Функциональная магнитно-резонансная томография (фМРТ) служит важным инструментом в нейронауках и когнитивной психологии для изучения активности мозга. Однако анализ данных фМРТ сталкивается с рядом сложностей, таких как ограниченный объем данных, высокая вариативность выборок и значительные вычислительные затраты. Эти факторы ограничивают возможности нейросетевых подходов, особенно при работе с данными одного испытуемого. В рамках данной работы предложена методология декодирования данных фМРТ. Она эффективно работает при недостаточном объеме данных, что имеет особое значение для индивидуализированных приложений в медицине и нейротехнологиях. Акцент сделан на уникальных пространственно-временных признаках мозга каждого испытуемого. Подход сравнивается с нейросетевыми методами, которые требуют больших объемов данных для эффективного обучения.
Цель исследования — оценка влияния пространственно-временных признаков на качество декодирования данных фМРТ при ограниченном объеме выборки. Предложенная методология направлена на классификацию временных рядов фМРТ для одного испытуемого, учитывая индивидуальные особенности структуры мозга. Разработан метод выделения масок активности мозга, основанный на вычислении кросс-корреляционной функции между временными рядами фМРТ и бинарными временными рядами стимулов. Этот метод снижает пространственную размерность данных и выделяет ключевые области интереса (ROIs). Он включает настраиваемый гиперпараметр задержки, учитывающий время гемодинамической ответной реакции, что позволяет точнее согласовать активность мозга со стимулами.
Вычислительный эксперимент проведен с использованием датасета из исследования, включающего записи активности мозга шести испытуемых, просматривавших визуальные стимулы из восьми категорий. Для оценки качества предложенного метода выделения масок активности мозга использовались метрики, такие как Intersection over Union (IoU), precision и recall. Кроме того, проверялась статистическая значимость корреляции выделенных зон с использованием критерия Кендалла, что позволило оценить значимость выделенных областей мозга. Сравнение с нейросетевыми подходами, такими как LSTM и линейного слоя с механизмом внимания, продемонстрировало превосходство предложенной методологии при ограниченном объеме данных. Нейросетевые модели показали переобучение и низкую обобщающую способность. Метрики качества усреднялись по всем выборкам испытуемых. Проведены статистические тесты, подтверждающие улучшения в метриках. Проведен анализ методологии исключения компонент. Рассмотрены две упрощенные модели. В первой модели отсутствует проекция на риманово касательное пространство. После применения поклассовых масок активности происходит выпрямление данных в векторы и последующая классификация.
Вторая модель использует усредненную маску активности вместо извлечения масок активности для каждого класса индивидуально и затем применяет TSM. Видно, что исключение любой из компонент приводит к значительному ухудшению качества декодирования, что свидетельствует о важности признаков, извлекаемых каждой компонентой.
