Posgebaseerde belichaamde interactie voor digitaal Dunhuang-danserfgoed

Dansen met oude muurschilderingen

Dunhuang-dans, geïnspireerd op de wentelende figuren op de muurschilderingen in China’s Mogao-grotten, is zowel visueel verbluffend als technisch veeleisend. Voor bezoekers en studenten is het vaak moeilijk om van het bewonderen van die geschilderde lichamen op een muur over te stappen naar het zelf uitvoeren van hun vloeiende lijnen. Dit artikel introduceert een camera-gebaseerd interactief systeem waarmee iedereen met een laptop in die muurschilderingsposes kan stappen, realtime begeleiding krijgt over hoe dicht ze bij de ideale vorm zijn, en direct hun beste momenten kan omzetten in Dunhuang-stijl digitale posters.

Van grotschilderingen naar levende beweging

Immaterieel cultureel erfgoed zoals dans is moeilijker te bewaren dan standbeelden of muurschilderingen omdat het in lichamen leeft, niet in steen. Hoewel de grotten van Dunhuang in prachtige visuele detail zijn gescand en gearchiveerd, vragen de meeste digitale projecten mensen nog steeds om te kijken, niet te bewegen. De auteurs betogen dat om deze traditie echt levend te houden, leerlingen belichaamde oefening nodig hebben — het proberen van de poses, het direct bijstellen en het voelen van de stijl in hun spieren. Ze zetten zich in om een systeem te bouwen dat precies dit doet, gebruikmakend van alleen consumentenhardware zoals een standaard webcam en laptop, zodat musea, klaslokalen en cultuurcentra het kunnen overnemen zonder dure apparatuur.

Een computer leren een pose te lezen

Om het systeem te trainen verzamelde het team 23 video’s van professionele en semi-professionele Dunhuang-dansers die vijf klassieke poses uitvoeren. Daaruit haalden ze ongeveer 1.230 stilstaande frames die zowel correcte als imperfecte versies van elke pose vastleggen. Menselijke annotatoren — waaronder dansexperts en niet-experts — labelden elk frame als "Goed" of "Slecht" op basis van duidelijke criteria zoals armhoogte, torso-curvatuur en symmetrie, met substantiële overeenstemming tussen beoordelaars. Een lichtgewicht tool van Google genaamd MediaPipe zette vervolgens het beeld van elke danser om in 33 belangrijke lichaamspunten — zoals schouders, heupen, ellebogen en polsen — weergegeven als eenvoudige 2D-coördinaten. Dit veranderde rijke beelden in compacte numerieke beschrijvingen van houding.

Hoe het systeem je beweging beoordeelt

Bovenop deze skeletpunten vergeleken de onderzoekers acht klassieke machine-learningmethoden om te zien welke het beste goede en slechte poses van elkaar kon onderscheiden. In plaats van diepe neurale netwerken, die enorme datasets en krachtige grafische kaarten vereisen, richtten ze zich op algoritmen die snel draaien op alledaagse machines. Een methode genaamd Random Forest, die veel eenvoudige beslisbomen combineert, bleek de duidelijke winnaar te zijn: ze classificeerde de posekwaliteit correct in ongeveer 98,5% van de gevallen en miste zelden een werkelijk correcte pose. Het kon ook een moeilijkere taak aan: niet alleen de kwaliteit herkennen, maar ook welke van de vijf poses de gebruiker probeerde, met meer dan 97% nauwkeurigheid zelfs wanneer sommige houdingen erg op elkaar leken.

Van beweging naar een persoonlijke Dunhuang-poster

Eens getraind werd het model ingebed in een interactief programma met vier hoofdstadia. Eerst kiest de gebruiker een doelpose en optionele visuele effecten, en gaat vervolgens voor een webcam staan. Het systeem volgt hun skelet realtime met ongeveer 20–25 frames per seconde en controleert voortdurend zowel welke pose ze aannemen als hoe goed ze die uitvoeren. Wanneer iemand een correcte pose een paar seconden stabiel vasthoudt, legt het systeem een frame vast, knipt de persoon uit de achtergrond en monteert hun figuur in een Dunhuang-geïnspireerde scène — compleet met muurschilderingsachtige kleuren, halo’s en linten uitgelijnd op hun gewrichten. Gebruikers kunnen deze verticale poster bekijken en downloaden, die hun live beweging mengt met de visuele taal van de oude grotkunst.

Waarom dit belangrijk is voor het levend houden van tradities

Voor niet-specialisten is de belangrijkste conclusie dat het bewaren van een danstraditie niet alleen gaat om het opnemen van video’s; het gaat om het uitnodigen van mensen om die bewegingen zelf te belich amen. Dit werk toont aan dat relatief eenvoudige, transparante algoritmen en een bescheiden dataset snelle, nauwkeurige feedback kunnen leveren die responsief genoeg aanvoelt om leren te begeleiden. Door correcte poses om te zetten in deelbare Dunhuang-stijl posters verandert het systeem oefening in een speelse culturele ervaring in plaats van een examen. De auteurs zien dit als een stap richting "performative preservation": het gebruik van interactieve technologie zodat erfgoed niet alleen wordt bekeken en gearchiveerd, maar ook wordt nagespeeld en gevoeld, waardoor de oude muurschilderingsfiguren blijven "dansen" door de lichamen van de hedendaagse leerlingen.

Bronvermelding: Fu, Q., Zhou, Y. & Ding, X. Pose-based embodied interaction for digital Dunhuang dance heritage. npj Herit. Sci. 14, 223 (2026). https://doi.org/10.1038/s40494-026-02470-2

Trefwoorden: Dunhuang-dans, immaterieel cultureel erfgoed, poseherkenning, interactief leren, erfgoedtechnologie