Одной из важных задач является создание системы компьютерного зрения, которая может использоваться для построения высококачественной системы распознавания, понимания и визуализации образов и жестов. Необходимо применение передовых технических средств и технологий, позволяющих строить карты глубин и наиболее эффективно отслеживающих движение объектов. Необходимы также новые подходы к созданию быстродействующих математических моделей и программно-технических средств. В данной работе предлагается для распознавания жестов использовать технологию искусственного нейронного кортекса. Искусственный нейронный кортекс или колонковый классификатор представляет собой многомерную индексную систему, структура которой напоминает нейронные структуры коры головного мозга. В работе приведена программная реализация искусственного нейронного кортекса, на основе которого решаются задачи распознавания. Проверена эффективность работы нейронного кортекса, для чего были использованы данные, представленные в репозитарии Калифорнийского университета для выполнения работ по машинному обучению. Тестирование показало хорошие результаты как по быстродействию, так и по результативности.