85438

Автор(ы): 

Автор(ов): 

3

Параметры публикации

Тип публикации: 

Статья в журнале/сборнике

Название: 

Устойчивая сходимость поверхности функции потерь через усреднение по распределению

ISBN/ISSN: 

2079-8156

DOI: 

10.15514/ISPRAS-2026-38(3)-47

Наименование источника: 

  • Труды Института системного программирования РАН

Обозначение и номер тома: 

Т. 38, вып. 3, Ч. 4

Город: 

  • Москва

Издательство: 

  • Институт системного программирования РАН

Год издания: 

2026

Страницы: 

71-82
Аннотация
Понимание того, как ландшафт функции потерь нейронной сети изменяется при увеличении размера обучающего набора, имеет ключевое значение для определения достаточного объема данных. Ранее этот вопрос в основном рассматривался локально – через разложение второго порядка в окрестности одной точки минимума и анализ сходимости на основе свойств матрицы Гессе. Подобные исследования позволяют оценить скорость сходимости, но дают лишь точечное представление о ней. В настоящей работе предлагается подход к оцениванию сходимости поверхности через усреднение по распределению. Рассматриваются гауссовские распределения, центрированные в локальных минимумах, применяется метод Монте-Карло для практической оценки сходимости. Теоретические результаты показывают, что сходимость в среднем по распределению имеет тот же асимптотический порядок, что и локальная, но дает более надежное представление о стабильности. Экспериментальные результаты на задачах классификации изображений подтверждают эти выводы и демонстрируют, как архитектурные решения – такие как нормализация, dropout и глубина сети – влияют на процесс сходимости. Таким образом, результаты данной работы обобщают методы локального анализа сходимости, обеспечивая более сильные гарантии и практические инструменты для оценки достаточности обучающего набора.

Библиографическая ссылка: 

Киселев Н.С., Мешков В.С., Грабовой А.В. Устойчивая сходимость поверхности функции потерь через усреднение по распределению // Труды Института системного программирования РАН. 2026. Т. 38, вып. 3, Ч. 4. С. 71-82.