Рассматривается рекуррентный метод построения агрегированной оценки на конечном классе базовых решающих правил в задаче классификации. Оценка приближенно минимизирует выпуклый функционал риска при l1-ограничении. Она задается стохастическим вариантом метода зеркального спуска, осуществляющего спуск градиентного типа в двойственном пространстве с дополнительным усреднением. Основной результат настоящей статьи - верхняя граница для средней точности предложенного aлгоритмa, с явным выражением малого постоянного множителя C. Аналогичная граница получена и для более общей постановки, охватывающей, в частности, модель регресcии при квадратичных потерях.