82622

Автор(ы): 

Автор(ов): 

2

Параметры публикации

Тип публикации: 

Тезисы доклада

Название: 

Сходимость поверхности функции потерь как признак достаточного размера выборки

ISBN/ISSN: 

978-5-89155-446-7

Наименование конференции: 

  • 67-я Всероссийская научная конференция МФТИ "Прикладная математика и информатика" (Москва, 2025)

Наименование источника: 

  • Труды 67-й Всероссийской научной конференции МФТИ "Прикладная математика и информатика" (Москва, 2025)

Город: 

  • Москва

Издательство: 

  • Физматкнига

Год издания: 

2025

Страницы: 

122-123
Аннотация
Задача машинного обучения с учителем предполагает выбор предсказательной модели из некоторого параметрического семейства. Функция потерь при этом представляет собой поверхность в заданном пространстве параметров модели. Изучение этой поверхности является предметом интереса многих исследований, поскольку напрямую влияет на процесс обучения модели. В настоящей работе исследуется задача определения достаточного размера выборки для моделей машинного обучения. Рассматривается проблема выбора количества обучающих данных для нейросетевых моделей с большим числом параметров. Предлагается метод к оценке сходимости поверхности функции потерь при увеличении примеров в обучающей выборке на основе спектра ее матрицы Гессе. Кроме того, вычислительный эксперимент включает в себя подсчет метрики качества классификации Accuracy на валидационной выборке и сопоставление динамики ее изменения с абсолютной разностью функции потерь. Результаты показывают, что, когда поверхность функции потерь перестает меняться с увеличением объема данных, качество модели на валидационной выборке становится лучше. Практическая значимость работы заключается в разработке критериев определения достаточного размера выборки и понимания локальной геометрии ландшафтов функции потерь. Результаты открывают перспективы для создания методов оптимизации, устойчивых к изменению объема данных.

Библиографическая ссылка: 

Киселев Н.С., Грабовой А.В. Сходимость поверхности функции потерь как признак достаточного размера выборки / Труды 67-й Всероссийской научной конференции МФТИ "Прикладная математика и информатика" (Москва, 2025). М.: Физматкнига, 2025. С. 122-123.