Рассмотрен подход к построению теоретико-информационных критериев машинного обучения. В работе строится континуальное множество теоретико-информационных критериев, в основе которых лежит понятие энтропии Реньи порядка a, не равного единице. При стремлении порядка энтропии Реньи к единице, последняя переходит в энтропию Шеннона, которая может рассматриваться как предельный случай энтропии Реньи при стремлении порядка к единице. Применение энтропии Реньи имеет определенные преимущества по сравнению с энтропией Шеннона, поскольку выражение для энтропии Реньи включает в себя «логарифм от интеграла», что существенно удобнее в вычислительном плане, особенно при построении оценок на основе выборочных данных, в том числе в условиях зависимых наблюдений, чем в случае выражения для энтропии Шеннона, включающего «интеграл от логарифма». Исходя из условий, эквивалентных разложению взаимной информации Шеннона на сумму и разность соответствующих маргинальных и взаимной энтропии Шеннона, построено выражение, определяющее взаимную информацию по Реньи порядка a. При этом известное в литературе выражение для дивергенции Коши-Шварца является частным случаем построенного выражения для взаимной информации по Реньи при условии a=2. В свою очередь, критерием обучения выступает максимимзация построенной взаимной информации по Реньи порядка a между выходом объекта и выходом модели. Далее используются соответствующие ядерные методы оценивания энтропии Реньи по выборочным данным, что приводит, в конечном итоге, к задаче конечномерной оптимизации.