Spatio-temporal graph autoencoder för automatisk utvärdering av mänskliga rörelser i 3D i immersiv VR-baserad träning för arkeologer

Öva ömtåligt arbete utan att lämna laboratoriet

Många yrken kräver precisa och säkra kroppsrörelser, men övning i verkligheten kan vara riskfylld, kostsam eller svår att upprepa. Denna studie visar hur virtuell verklighet och rörelsespårningsteknik kan samarbeta med artificiell intelligens för att handleda arkeologer när de gräver, skrapar och lyfter — allt inne i en digital utgrävningsplats. Samma idéer skulle en dag kunna användas för att träna kirurger, fabrikstekniker eller idrottare genom att göra expertens rörelser till en standard som vem som helst kan lära sig att efterlikna.

Att kliva in i en virtuell utgrävningsplats

Forskarna byggde ett immersivt träningssystem som placerar en arkeolog i ett virtuellt utgrävningsområde med hjälp av ett Meta Quest 3-headset. Samtidigt fångar en Xsens MVN Awinda-rörelsefångstdräkt, utrustad med 17 små sensorer, hur varje kroppsdel rör sig i tre dimensioner. Istället för att bara spela upp rörelsen omvandlar systemet varje inspelning till en strukturerad beskrivning av kroppen: huvud, bål, armar och ben blir punkter i ett digitalt skelett, var och en med detaljerade mått som hastighet, acceleration och ledvinklar över tid. Denna rika datastream blir råmaterialet för en automatiserad handledare.

Lära en dator vad "bra rörelse" ser ut som

För att förvandla expertkunnande till en träningsstandard bad teamet först professionella arkeologer att utföra typiska uppgifter med murslev, spett och spade. Dessa expertexempel fungerar som "ideala" rörelser. En specialiserad AI-modell, kallad AEforGraph, lär sig sedan att komprimera varje rörelsesekvens till en kompakt intern kod som bevarar hur kroppens leder rör sig tillsammans i rum och tid. Denna modell lägger större vikt vid de mest kritiska lederna — till exempel hand och underarm vid fin murslevarbete — så att säkerhet och precision i nyckelområden väger tyngre än bakgrundsrörelse i andra delar.

Hur systemet upptäcker misstag

När modellen har lärt sig dessa interna rörelsekoder grupperar den liknande rörelser i kluster, var och en centrerad kring ett referensmönster som återspeglar en ideal handling, till exempel en korrekt spadsväng. När en trainee utför en ny rörelse kodar systemet den, hittar det närmaste referensmönstret och rekonstruerar sedan vad den lärande faktiskt gjorde. Genom att jämföra den lärandes rekonstruktion med det ideala led för led och ögonblick för ögonblick kan systemet uppskatta hur långt varje kroppsdel avvek från expertformen. Dessa skillnader kan översättas till lättförståelig återkoppling, till exempel vilken armssektion som rörde sig för snabbt eller i fel vinkel.

Sätta den virtuella coachen på prov

Teamet spelade in 509 verkliga rörelser från åtta arkeologer för att träna och utvärdera systemet. Deras autoencoder, AEforGraph, reproducerade rörelsedata mycket noggrant, bevarade mer än nittio procent av den ursprungliga variationen samtidigt som komplexiteten minskade kraftigt. Jämfört med en välkänd baseline-modell fångade den bättre hur rörelser utvecklas över tid. När den användes för att sortera rörelser i tre verktygsrelaterade grupper — murslev, spett och spade — tilldelade den semisupervisade klustringsmetoden korrekt över 97 procent av exemplen. I live-VR-test med all hårdvara igång gav systemet oftast återkoppling inom ungefär en sekund efter varje inspelad handling och valde nästan alltid rätt kluster för den utförda rörelsen.

Varför detta är viktigt bortom arkeologi

Ur en lekmans perspektiv är huvudresultatet en fungerande ritning för en digital rörelsecoach: virtuell verklighet erbjuder en säker, realistisk miljö; rörelsefångstsensorer registrerar detaljerat kroppsbeteende; och en intelligent modell jämför varje försök med expertexempel för att leverera riktad återkoppling i realtid. Även om fallstudien fokuserar på arkeologer är ramverket generellt. Med lämpliga exempel och rörelsedata skulle samma tillvägagångssätt kunna hjälpa till att förfina arbetsmetoder inom medicin, rehabilitering, tillverkning eller idrott och vägleda människor mot säkrare och mer effektiva rörelser utan att en instruktör måste finnas vid varje repetition.

Citering: Pradisi, V., Marini, M.R., Castelli Gattinara Di Zubiena, F. et al. Spatio-temporal graph autoencoder for automated evaluation of human actions in 3D in immersive VR-based training for archaeologists. Sci Rep 16, 10568 (2026). https://doi.org/10.1038/s41598-026-46138-0

Nyckelord: virtuell verklighetsträning, rörelsefångst, arkeologi, analys av människors rörelser, grafneuronätverk