Ställningsbaserad kroppslig interaktion för det digitala Dunhuang-dansarvet

Dans med antika väggmålningar

Dunhuang-dansen, inspirerad av de virvlande gestalterna på väggmålningarna i Kinas Mogao-grottor, är både visuellt slående och tekniskt krävande. För besökare och studenter kan det vara svårt att gå från att beundra dessa målade kroppar på en vägg till att själv framföra deras flytande kurvor i verkligheten. Denna artikel presenterar ett kamerabaserat interaktivt system som låter vem som helst med en bärbar dator kliva in i dessa väggmålningars poser, få vägledning i realtid om hur nära de ligger den ideala formen och omedelbart förvandla sina bästa ögonblick till digitala Dunhuang-affischer.

Från grottmålningar till levande rörelse

Immateriellt kulturarv som dans är svårare att bevara än statyer eller muralmålningar eftersom det lever i kroppar, inte i sten. Medan Dunhuangs grottor har skannats och arkiverats i utomordentlig visuell detalj, uppmanar de flesta digitala projekt fortfarande människor att titta, inte att röra sig. Författarna menar att för att verkligen hålla denna tradition levande behöver lärande vara kroppsligt—att pröva poserna, justera i stunden och känna stilen i musklerna. De satte upp sig för att bygga ett system som gör just detta, med enbart konsumenthårdvara som en vanlig webbkamera och bärbar dator, så att museer, klassrum och kulturcentrum kan ta det i bruk utan dyr utrustning.

Att lära en dator att läsa en pose

För att träna systemet samlade teamet 23 videor med professionella och semi-professionella Dunhuang-dansare som utförde fem klassiska poser. Ur dessa extraherade de cirka 1 230 stillbilder som fångar både korrekta och mindre perfekta varianter av varje pose. Mänskliga annotatörer—inklusive danseexperter och icke-experter—märkte varje bildruta som "Bra" eller "Dålig" utifrån tydliga kriterier som armhöjd, bålens kurvatur och symmetri, med väsentlig överensstämmelse mellan bedömarna. Ett lättviktsverktyg från Google kallat MediaPipe konverterade sedan varje dansares bild till 33 nyckelpunkter på kroppen—såsom axlar, höfter, armbågar och handleder—representerade som enkla 2D-koordinater. Detta omvandlade rika bilder till kompakta numeriska beskrivningar av hållning.

Hur systemet bedömer din rörelse

På toppen av dessa skelettpunkter jämförde forskarna åtta klassiska maskininlärningsmetoder för att se vilken som bäst kunde skilja på bra och dåliga poser. Istället för djupa neurala nätverk, som kräver enorma datamängder och kraftfulla grafikkort, fokuserade de på algoritmer som körs snabbt på vardagliga maskiner. En metod kallad Random Forest, som kombinerar många enkla besluts-träd, framstod som klar vinnare och klassificerade posekvalitet korrekt omkring 98,5 % av tiden och missade sällan en verkligt korrekt pose. Den hanterade också en svårare uppgift: att känna igen inte bara kvalitet utan vilken av de fem poserna användaren försökte göra, med över 97 % korrekthet även när vissa ställningar såg mycket lika ut.

Från rörelse till en personlig Dunhuang-affisch

När modellen väl var tränad bäddades den in i ett interaktivt program med fyra huvudsteg. Först väljer användaren en målpose och eventuella visuella effekter, och ställer sig sedan framför en webbkamera. Systemet spårar deras skelett i realtid med cirka 20–25 bildrutor per sekund och kontrollerar ständigt både vilken pose de gör och hur väl de gör den. När någon håller rätt pose stadigt i ett par sekunder fångar systemet en bildruta, klipper ut dem från bakgrunden och komponerar in deras figur i en Dunhuang-inspirerad scen—fylld med mural-liknande färger, nimbusar och band anpassade efter deras leder. Användare kan visa och ladda ner denna vertikala affisch, som förenar deras levande rörelse med det visuella språket från den antika grottkonsten.

Varför detta spelar roll för att hålla traditioner levande

För icke-specialister är huvudpoängen att bevarande av en danstradition inte bara handlar om att spela in videor; det handlar om att bjuda in människor att gestalta rörelserna själva. Detta arbete visar att relativt enkla, transparenta algoritmer och en modest dataset kan leverera snabb, korrekt återkoppling som känns tillräckligt responsiv för att vägleda lärande. Genom att förvandla korrekta poser till delbara Dunhuang-stil-affischer gör systemet träningen till en lekfull kulturell upplevelse snarare än ett prov. Författarna ser detta som ett steg mot "performativt bevarande": att använda interaktiv teknik så att arv inte bara betraktas och arkiveras, utan också återuppförs och känslomässigt upplevs, vilket hjälper de antika väggmålningarnas figurer att fortsätta "dansa" genom dagens lärandes kroppar.

Citering: Fu, Q., Zhou, Y. & Ding, X. Pose-based embodied interaction for digital Dunhuang dance heritage. npj Herit. Sci. 14, 223 (2026). https://doi.org/10.1038/s40494-026-02470-2

Nyckelord: Dunhuang-dans, immateriellt kulturarv, ställningsigenkänning, interaktivt lärande, kulturarvsteknologi