Рассмотрены вопросы качественного исследования нелинейных динамических систем, моделируемых векторно-матричными уравнениями третьего порядка. Представлено расширение и углубление понятийной базы. Получены условия устойчивости по Жуковскому траекторий на основе принципа сведения и метода функций Ляпунова. Результаты могут быть использованы в задачах качественного исследования моделей сложных систем физики, механики и техники.