В главе рассмотрено эволюционное развитие искусственных нейронных сетей: от зарождения в виде нейрона Маккаллока-Питтса до современных глубоких архитектур: свёрточных и рекуррентных, а также их комбинаций. Приведены основополагающие теоремы и ссылки на оригинальные работы. Проанализированы причины затруднений на пути к формированию глубоких архитектур, и рассмотрены пути разрешения трудностей.