Предобучение визуальных представлений остается одной из основных проблем для трансформерных политик клонирования поведения, их обобщающая способность заметно снижается при изменении условий
съемки, структуры сцены и характеристик визуальных сенсоров. В данном исследовании мы представляем новый подход к методу предварительного обучения визуального энкодера для трансформерных политик клонирования поведения в робототехнических задачах. В отличие от подходов к обучению, требующих
предварительной разметки изображений, предлагаемый метод основан на сравнении сжатых векторных
представлений изображений с камер робота, благодаря чему формируются естественные позитивные
пары для контрастивного обучения без необходимости ручной аннотации или дополнительных моделей.
ResNet-18 обучается с использованием косинусного расстояния в качестве функции потерь, требующей
сближения векторов представлений аугментированных изображений одной и той же сцены, обеспечивая
инвариантность к оптическим и текстурным вариациям и шумам. Обученная таким образом нейросеть
визуальной предобработки интегрируется в Action Chunking Transformer (ACT) без модификации архитектуры и приводит к существенному повышению робастности политики: по сравнению с базовой моделью,
средний показатель Success Rate увеличивается на 20 % в задачах вне распределения обучающей выборки
имитационного обучения
