Взаимодействие через позы для цифрового наследия танца Дуньхуан

Танец с древними фресками

Танец Дуньхуан, вдохновлённый извивающимися фигурами на фресках пещер Могао в Китае, одновременно впечатляет визуально и предъявляет высокие технические требования. Посетителям и ученикам бывает трудно перейти от созерцания этих расписанных тел на стене к выполнению их плавных линий в реальной жизни. В этой статье представлен интерактивный камера‑базирующийся система, которая позволяет любому с ноутбуком встать в позы с фресок, получать в реальном времени указания о том, насколько близко они подошли к идеальной форме, и мгновенно превращать свои лучшие моменты в цифровые постеры в стиле Дуньхуан.

От настенных росписей к живому движению

Нематериальное культурное наследие, такое как танец, сохранить сложнее, чем статуи или фрески, потому что оно живёт в телах, а не в камне. Хотя пещеры Дуньхуан были отсканированы и задокументированы с исключительной визуальной тщательностью, большинство цифровых проектов по‑прежнему просят людей смотреть, а не двигаться. Авторы утверждают, что для истинного сохранения этой традиции обучающимся нужна воплощённая практика — пробование поз, корректировка в моменте и ощущение стиля мышцами. Они поставили задачу создать систему, которая делает именно это, используя только потребительское оборудование, такое как обычная веб‑камера и ноутбук, чтобы музеи, классы и культурные центры могли применять её без дорогого оборудования.

Обучение компьютера «читать» позу

Чтобы натренировать систему, команда собрала 23 видео профессиональных и полупрофессиональных танцоров Дуньхуан, исполнявших пять классических поз. Из них они извлекли около 1230 статичных кадров, которые отражают как правильные, так и неточные варианты каждой позы. Человеческие аннотаторы — включая экспертов по танцу и не‑специалистов — пометили каждый кадр как «Хорошо» или «Плохо» на основе ясных критериев, таких как высота рук, изгиб корпуса и симметрия; между рецензентами наблюдалось существенное согласие. Лёгкий инструмент от Google под названием MediaPipe затем преобразовал изображение каждого танцора в 33 ключевые точки тела — например плечи, бёдра, локти и запястья — представленные простыми 2D‑координатами. Это превратило богатые визуальные данные в компактные численные описания позы.

Как система оценивает ваше движение

Наложив работу на эти скелетные точки, исследователи сравнили восемь классических методов машинного обучения, чтобы выяснить, какой из них лучше отличает хорошие позы от плохих. Вместо глубоких нейросетей, требующих больших наборов данных и мощных графических карт, они сосредоточились на алгоритмах, быстро работающих на повседневных машинах. Метод, называемый случайным лесом (Random Forest), который объединяет множество простых деревьев решений, оказался явным победителем, корректно классифицируя качество позы примерно в 98.5% случаев и редко пропуская действительно правильную позу. Он также справился с более сложной задачей: распознаванием не только качества, но и того, какую из пяти поз пытается выполнить пользователь, достигая более 97% точности даже когда некоторые стойки выглядели очень похоже.

От движения к персональному постеру в стиле Дуньхуан

После обучения модель была встроена в интерактивную программу с четырьмя основными этапами. Сначала пользователь выбирает целевую позу и дополнительные визуальные эффекты, затем встаёт перед веб‑камерой. Система отслеживает их скелет в реальном времени с частотой примерно 20–25 кадров в секунду, постоянно проверяя и то, какую позу они выполняют, и насколько хорошо. Когда кто‑то удерживает правильную позу устойчиво в течение пары секунд, система захватывает кадр, вырезает их из фона и композитирует фигуру в сцену, вдохновлённую Дуньхуан — с характерными для фресок цветами, ореолами и лентами, выровненными по суставам. Пользователи могут просматривать и скачивать этот вертикальный постер, который сочетает их живое движение с визуальным языком древнего настенного искусства.

Почему это важно для сохранения традиций

Для неспециалистов ключевая мысль в том, что сохранение танцевальной традиции — это не только запись видео; это приглашение людей воплотить эти движения самостоятельно. Эта работа показывает, что относительно простые, прозрачные алгоритмы и скромный набор данных могут давать быстрые, точные обратные связи, которые кажутся достаточно отзывчивыми для поддержки обучения. Превращая правильные позы в доступные для обмена постеры в стиле Дуньхуан, система превращает практику в игривый культурный опыт, а не в экзамен. Авторы видят в этом шаг к «исполнительскому сохранению»: использованию интерактивных технологий, чтобы наследие не только смотрели и архивировали, но и реконструировали и чувствовали, помогая фигурам древних фресок продолжать «танцевать» через тела современных учащихся.

Цитирование: Fu, Q., Zhou, Y. & Ding, X. Pose-based embodied interaction for digital Dunhuang dance heritage. npj Herit. Sci. 14, 223 (2026). https://doi.org/10.1038/s40494-026-02470-2

Ключевые слова: танец Дуньхуан, нематериальное культурное наследие, распознавание поз, интерактивное обучение, технологии культурного наследия