Задача машинного обучения с учителем предполагает выбор предсказательной модели из некоторого параметрического семейства. Функция потерь при этом представляет собой поверхность в заданном пространстве параметров модели. Изучение этой поверхности является предметом интереса многих исследований, поскольку напрямую влияет на процесс обучения модели. В настоящей работе исследуется задача определения достаточного размера выборки для моделей машинного обучения. Рассматривается проблема выбора количества обучающих данных для нейросетевых моделей с большим числом параметров. Предлагается метод к оценке сходимости поверхности функции потерь при увеличении примеров в обучающей выборке на основе спектра ее матрицы Гессе.
Кроме того, вычислительный эксперимент включает в себя подсчет метрики качества классификации Accuracy на валидационной выборке и сопоставление динамики ее изменения с абсолютной разностью функции потерь. Результаты показывают, что, когда поверхность функции потерь перестает меняться с увеличением объема данных, качество модели на валидационной выборке становится лучше.
Практическая значимость работы заключается в разработке критериев определения достаточного размера выборки и понимания локальной геометрии ландшафтов функции потерь. Результаты открывают перспективы для создания методов оптимизации, устойчивых к изменению объема данных.