Реконструкция движений танца с помощью 2D-матричной модели и оптимизации Haute Monde Chimp

Танец встречает цифровое понимание

За каждым грациозным поворотом на сцене скрывается невидимая буря движений, которую удивительно сложно зафиксировать. В этом исследовании рассматривается, как записывать и восстанавливать сложные танцевальные движения, когда камеры и датчики пропускают части тела — будь то из‑за развевающихся костюмов, быстрых вращений или необычных поз. Соединив идеи из математики и алгоритмов, вдохновлённых природой, авторы предлагают способ превращать шумные, неполные записи танца в чистое, непрерывное движение, что может быть полезно хореографам, аниматорам, разработчикам игр и специалистам по реабилитации.

Почему записать танец так сложно

Современные системы захвата движения обещают превращать танцоров в потоки цифровых данных, но реальные выступления редко ведут себя как лабораторные демонстрации. Конечности закрывают друг друга, свободная ткань скрывает суставы, а танцоры импровизируют движения, которые закручиваются далеко за пределы простых шаблонов. В результате данные часто содержат пробелы, где суставы исчезают, и траектории, которые со временем изгибаются очень нелинейным образом. Ранее предложенные инструменты — нейронные сети, методы с низким рангом матриц или глубинные камеры вроде Kinect — справляются с короткими клипами или простыми жестами, но у них нет твёрдых гарантий корректного восстановления полного движения, когда танец становится запутанным и данные — шумными.

Новый способ представления движения

Чтобы решить эту проблему, авторы вводят многомерную матричную модель, которая рассматривает человеческое движение как богатый геометрический объект, а не просто список координат суставов. В этой концепции скелет танцора изображается сетью суставов в трёхмерном пространстве, а каждая поза отображается на искривлённую математическую поверхность, лучше отражающую реальные вращения суставов. Эти позы затем организуются в большую матрицу, элементы которой описывают, как части тела движутся вместе во времени. Пропавшие суставы проявляются как пустые ячейки, превращая задачу восстановления движения в своего рода «интеллектуальное заполнение пробелов» в этой матрице. Проектируя модель с предпочтением простых структур низкого ранга, метод ищет наиболее согласованное полное движение, которое соответствует неполным данным.

Поиск, вдохновлённый природой, с цифровыми шимпанзе

Вторым столпом работы является стратегия поиска под названием Haute Monde Chimp Optimization Algorithm. Вдохновлённая тем, как шимпанзе сотрудничают при охоте, эта методика представляет множество кандидатных решений, бродящих по пространству возможных настроек модели. Одни играют роль лидеров, другие — драйверов или блокировщиков, и их влияние меняется по мере продвижения поиска. В отличие от ранних версий этой идеи, где каждому лидеру придавали равный вес или лишь тонко настраивали численные параметры, новый алгоритм вводит иерархию между ролями и координирует длинные прыжки с тонкими локальными корректировками. Такая структура позволяет сильнее фокусироваться на перспективных областях пространства поиска, одновременно исследуя альтернативы — что критично, когда ландшафт возможных движений полон локальных ловушек.

Тестирование системы

Комбинированная структура, названная MMC-HMCOA, была протестирована на движениях, приближённых к танцевальным и представленых стандартной цифровой моделью тела. Авторы варьировали сложность движений, число вычислительных «узлов» в модели и долю отсутствующих данных о движении. Затем их метод сравнивали с несколькими известными базовыми подходами, включая рекуррентные нейронные сети, стандартные инструменты восстановления матриц, мультимодальные подходы, отслеживание на базе Kinect и версию собственной матричной модели без новой стратегии поиска. При широком наборе условий MMC-HMCOA последовательно демонстрировал более высокую точность, меньшую ошибку и лучшую способность отличать корректные реконструкции от некорректных, при этом оставаясь устойчивым даже при удалении до половины точек данных.

Что это значит для танца и не только

Для неспециалиста главный вывод таков: авторы предложили принципиальный способ «починить» повреждённые записи человеческого движения, чтобы получившиеся цифровые танцы выглядели естественно и завершённо. Сочетая описание движения, учитывающее реальные закономерности движений тела, с организованным кооперативным поиском, вдохновлённым повадками животных, система способна восстанавливать тонкие детали, которые упускают другие подходы. Хотя исследование сосредоточено на танце, те же идеи могут применяться где угодно, где нужно надёжно отслеживать людей несмотря на окклюзию и шум — от виртуальной реальности и спортивного анализа до робототехники и клинической оценки движений.

Цитирование: Liang, D., Khishe, M., Alenizi, F.A. et al. Dance movement reconstruction via a 2D matrix model and Haute Monde Chimp Optimization. Sci Rep 16, 14989 (2026). https://doi.org/10.1038/s41598-026-44993-5

Ключевые слова: захват движения танца, восстановление человеческого движения, алгоритм оптимизации, матричная модель, компьютерная анимация