Autoencoder grafico spazio-temporale per la valutazione automatizzata delle azioni umane in 3D nella formazione immersiva in realtà virtuale per archeologi

Praticare lavori delicati senza uscire dal laboratorio

Molte professioni richiedono movimenti del corpo precisi e sicuri, ma l'esercizio nel mondo reale può essere rischioso, costoso o difficile da ripetere. Questo studio mostra come la realtà virtuale e la tecnologia di tracciamento del movimento possano collaborare con l'intelligenza artificiale per guidare gli archeologi mentre scavano, raschiano e sollevano, il tutto all'interno di un sito di scavo digitale. Le stesse idee potrebbero un giorno aiutare a formare chirurghi, operai di fabbrica o atleti trasformando il movimento degli esperti in uno standard che chiunque può imparare a replicare.

Entrare in un sito di scavo virtuale

I ricercatori hanno realizzato un sistema di addestramento immersivo che colloca l'archeologo in un'area di scavo virtuale attraverso un visore Meta Quest 3. Contemporaneamente, una tuta per il motion capture Xsens MVN Awinda, dotata di 17 piccoli sensori, registra come si muove ciascuna parte del corpo in tre dimensioni. Invece di limitarsi a riprodurre il movimento, il sistema trasforma ogni registrazione in una descrizione strutturata del corpo: testa, tronco, braccia e gambe diventano punti in uno scheletro digitale, ciascuno con misurazioni dettagliate come velocità, accelerazione e angoli articolari nel tempo. Questo ricco flusso di dati diventa la materia prima per un coach automatizzato.

Insegnare al computer cosa significa “buon movimento”

Per trasformare il know-how degli esperti in uno standard di formazione, il team ha prima chiesto ad archeologi professionisti di eseguire compiti tipici con cazzuola, piccone e pala. Questi esempi di esperti fungono da movimenti “ideali”. Un modello di intelligenza artificiale specializzato, chiamato AEforGraph, impara quindi a comprimere ogni sequenza di movimento in un codice interno compatto che preserva come le articolazioni del corpo si muovono insieme nello spazio e nel tempo. Questo modello presta maggiore attenzione alle articolazioni più critiche — per esempio mano e avambraccio nel lavoro di precisione con la cazzuola — in modo che sicurezza e precisione nelle aree chiave contino più dei movimenti di sfondo altrove.

Come il sistema individua gli errori

Una volta che il modello ha appreso questi codici di movimento interni, raggruppa movimenti simili in cluster, ciascuno centrato su un pattern di riferimento che riflette un'azione ideale, come un corretto colpo di pala. Quando un allievo esegue un nuovo movimento, il sistema lo codifica, trova il pattern di riferimento più vicino e poi ricostruisce ciò che l'allievo ha effettivamente fatto. Confrontando la ricostruzione dell'allievo con quella ideale articolazione per articolazione e istante per istante, il sistema può stimare quanto ogni parte del corpo si sia discostata dalla forma dell'esperto. Queste differenze possono essere tradotte in feedback facili da comprendere, ad esempio quale segmento del braccio si è mosso troppo velocemente o con l'angolo sbagliato.

Mettere alla prova il coach virtuale

Il team ha registrato 509 movimenti reali da otto archeologi per addestrare e valutare il sistema. Il loro autoencoder, AEforGraph, ha riprodotto i dati di movimento con grande accuratezza, mantenendo oltre il novanta percento della variazione originale pur riducendone significativamente la complessità. Rispetto a un modello di riferimento noto, ha fatto un lavoro migliore nel catturare come i movimenti si sviluppano nel tempo. Quando è stato usato per classificare i movimenti in tre gruppi legati agli attrezzi — cazzuola, piccone e pala — il metodo di clustering semi-supervisionato ha assegnato correttamente oltre il 97 percento dei campioni. Nei test VR in tempo reale con tutta l'hardware attivo, il sistema in genere restituiva il feedback in circa un secondo dopo ciascuna azione registrata e quasi sempre sceglieva il cluster giusto per il movimento eseguito.

Perché questo è importante oltre l'archeologia

Dal punto di vista di un profano, il risultato principale è un progetto funzionante per un coach digitale del movimento: la realtà virtuale fornisce un ambiente sicuro e realistico; i sensori di motion capture registrano dettagliatamente il comportamento corporeo; e un modello intelligente confronta ogni tentativo con esempi di esperti per fornire feedback mirati in tempo reale. Sebbene il caso di studio sia incentrato sugli archeologi, il quadro è generale. Con esempi e dati di movimento adeguati, lo stesso approccio potrebbe aiutare a perfezionare compiti in medicina, riabilitazione, produzione o sport, guidando le persone verso movimenti più sicuri ed efficienti senza la necessità di un istruttore al loro fianco a ogni ripetizione.

Citazione: Pradisi, V., Marini, M.R., Castelli Gattinara Di Zubiena, F. et al. Spatio-temporal graph autoencoder for automated evaluation of human actions in 3D in immersive VR-based training for archaeologists. Sci Rep 16, 10568 (2026). https://doi.org/10.1038/s41598-026-46138-0

Parole chiave: formazione in realtà virtuale, cattura del movimento, archeologia, analisi del movimento umano, reti neurali a grafo