85444

Автор(ы): 

Автор(ов): 

1

Параметры публикации

Тип публикации: 

Статья в журнале/сборнике

Название: 

От VC-размерности к законам масштабирования: эволюция теоретических подходов к оценке сложности и обобщающей способности

ISBN/ISSN: 

2411-4448

Наименование источника: 

  • Интеллектуальные системы. Теория и приложения

Обозначение и номер тома: 

Т. 30, вып. 3

Город: 

  • Москва

Издательство: 

  • ООО "Интеллектуальные системы"

Год издания: 

2026

Страницы: 

53-85
Аннотация
В работе представлен обзор современного состояния исследований, посвященных теоретическим методам оценки сложности моделей машинного обучения и их связи с обобщающей способностью. Методологически работа оформлена как обзор предметной области. Указываются источники библиографического поиска, этапы дедупликации и полуавтоматического сужения корпуса документов, экспертный отбор и состав итогового аналитического набора публикаций. Основной вклад обзора состоит в анализе классических мер сложности из статистической теории обучения и их ограниченности для объяснения поведения современных перепараметризованных глубоких моделей машинного обучения. Показано, что VC-размерность, радемахеровские и PAC-байесовские оценки сохраняют значение как теоретический результат, однако характеризуют мощность класса гипотез в худшем случае и лишь ограниченно учитывают локальные геометрические характеристики решения, траекторию оптимизации и архитектурные особенности. Основное внимание уделено современным направлениям, включающим анализ ландшафта функции потерь, спектральных характеристик гессиана, методов оптимизации и эмпирических законов масштабирования. В результате предложена интерпретация текущего состояния предметной области, согласно которой современная теория сложности должна описывать не только класс моделей, но и эффективную сложность решений, учитывающих как локальные характеристики модели, так и данные, на которых она обучается.

Библиографическая ссылка: 

Грабовой А.В. От VC-размерности к законам масштабирования: эволюция теоретических подходов к оценке сложности и обобщающей способности // Интеллектуальные системы. Теория и приложения. 2026. Т. 30, вып. 3. С. 53-85.