Interaction incarnée basée sur la posture pour le patrimoine chorégraphique numérique de Dunhuang

Danser avec des fresques anciennes

La danse de Dunhuang, inspirée par les figures tourbillonnantes des fresques des grottes de Mogao en Chine, est à la fois visuellement saisissante et techniquement exigeante. Pour les visiteurs et les étudiants, il peut être difficile de passer de l’admiration de ces corps peints sur un mur à l’exécution de leurs courbes fluides dans la réalité. Cet article présente un système interactif basé sur une caméra qui permet à toute personne disposant d’un ordinateur portable d’adopter ces postures de fresque, de recevoir des conseils en temps réel sur la proximité avec la forme idéale, et de transformer instantanément leurs meilleurs moments en affiches numériques de style Dunhuang.

Des peintures rupestres au mouvement vivant

Le patrimoine culturel immatériel, comme la danse, est plus difficile à préserver que les statues ou les fresques parce qu’il vit dans les corps, pas dans la pierre. Bien que les grottes de Dunhuang aient été scannées et archivées avec un niveau de détail visuel remarquable, la plupart des projets numériques demandent encore aux gens de regarder, pas de bouger. Les auteurs soutiennent que pour vraiment maintenir cette tradition vivante, les apprenants ont besoin d’une pratique incarnée — essayer les postures, s’ajuster sur le moment et ressentir le style dans leurs muscles. Ils se sont donné pour tâche de construire un système qui fait exactement cela, en n’utilisant que du matériel grand public comme une webcam standard et un ordinateur portable, afin que musées, salles de classe et centres culturels puissent l’adopter sans équipements coûteux.

Apprendre à un ordinateur à lire une posture

Pour entraîner le système, l’équipe a recueilli 23 vidéos de danseurs professionnels et semi-professionnels de Dunhuang exécutant cinq postures classiques. À partir de celles-ci, ils ont extrait environ 1 230 images fixes capturant à la fois des versions correctes et imparfaites de chaque posture. Des annotateurs humains — y compris des experts en danse et des non-experts — ont étiqueté chaque image comme "Bonne" ou "Mauvaise" selon des critères clairs tels que la hauteur des bras, la courbure du torse et la symétrie, avec un accord substantiel entre les évaluateurs. Un outil léger de Google appelé MediaPipe a ensuite converti l’image de chaque danseur en 33 points clés du corps — tels que épaules, hanches, coudes et poignets — représentés par de simples coordonnées 2D. Cela a transformé des images riches en descriptions numériques compactes de la posture.

Comment le système juge votre mouvement

Sur la base de ces points squelettiques, les chercheurs ont comparé huit méthodes classiques d’apprentissage automatique pour déterminer lesquelles distinguaient le mieux les bonnes et les mauvaises postures. Plutôt que d’utiliser des réseaux neuronaux profonds, qui exigent d’énormes jeux de données et des cartes graphiques puissantes, ils se sont concentrés sur des algorithmes qui s’exécutent rapidement sur des machines ordinaires. Une méthode appelée Forêt Aléatoire (Random Forest), qui combine de nombreux arbres de décision simples, est apparue comme la gagnante évidente, classant correctement la qualité des postures environ 98,5 % du temps et manquant rarement une posture véritablement correcte. Elle a aussi géré une tâche plus difficile : reconnaître non seulement la qualité, mais laquelle des cinq postures l’utilisateur tentait d’exécuter, atteignant plus de 97 % de précision même lorsque certaines positions se ressemblaient beaucoup.

Du mouvement à une affiche Dunhuang personnelle

Une fois entraîné, le modèle a été intégré dans un programme interactif comportant quatre étapes principales. D’abord, l’utilisateur choisit une posture cible et des effets visuels optionnels, puis se tient devant une webcam. Le système suit leur squelette en temps réel à environ 20–25 images par seconde, vérifiant en permanence à la fois quelle posture ils réalisent et la qualité de celle-ci. Lorsqu’une personne maintient la posture correcte pendant quelques secondes, le système capture une image, la découpe de l’arrière-plan et composite sa silhouette dans une scène inspirée de Dunhuang — avec des couleurs de style fresque, des halos et des rubans alignés sur leurs articulations. Les utilisateurs peuvent visualiser et télécharger cette affiche verticale, qui mêle leur mouvement live au langage visuel de l’ancienne art rupestre.

Pourquoi cela compte pour la survie des traditions

Pour les non-spécialistes, l’essentiel est que préserver une tradition de danse ne consiste pas seulement à enregistrer des vidéos ; il s’agit d’inviter les gens à incarner ces mouvements eux-mêmes. Ce travail montre que des algorithmes relativement simples et transparents et un jeu de données modeste peuvent fournir un retour rapide et précis, suffisamment réactif pour guider l’apprentissage. En transformant les postures correctes en affiches partageables de style Dunhuang, le système fait de la pratique une expérience culturelle ludique plutôt qu’un examen. Les auteurs voient cela comme un pas vers une « préservation performative » : utiliser la technologie interactive pour que le patrimoine ne soit pas seulement regardé et archivé, mais aussi réinterprété et ressenti, aidant ainsi les figures des fresques anciennes à continuer de « danser » à travers les corps des apprenants d’aujourd’hui.

Citation: Fu, Q., Zhou, Y. & Ding, X. Pose-based embodied interaction for digital Dunhuang dance heritage. npj Herit. Sci. 14, 223 (2026). https://doi.org/10.1038/s40494-026-02470-2

Mots-clés: danse de Dunhuang, patrimoine culturel immatériel, reconnaissance de posture, apprentissage interactif, technologie du patrimoine culturel