Autoencoder grafo espaço-temporal para avaliação automatizada de ações humanas em 3D em treinamento imersivo em RV para arqueólogos

Praticando trabalhos delicados sem sair do laboratório

Muitas profissões dependem de movimentos corporais precisos e seguros, mas a prática no mundo real pode ser arriscada, cara ou difícil de repetir. Este estudo mostra como realidade virtual e tecnologia de rastreamento de movimento podem se unir à inteligência artificial para orientar arqueólogos enquanto escavam, raspam e levantam objetos, tudo dentro de um sítio de escavação digital. As mesmas ideias poderiam, no futuro, ajudar a treinar cirurgiões, operários de fábrica ou atletas, transformando o movimento de especialistas em um padrão que qualquer pessoa possa aprender a reproduzir.

Entrando em um sítio de escavação virtual

Os pesquisadores construíram um sistema de treinamento imersivo que coloca o arqueólogo em uma área de escavação virtual usando um headset Meta Quest 3. Ao mesmo tempo, uma roupa de captura de movimento Xsens MVN Awinda, equipada com 17 pequenos sensores, rastreia como cada parte do corpo se move em três dimensões. Em vez de simplesmente reproduzir o movimento, o sistema transforma cada gravação em uma descrição estruturada do corpo: cabeça, tronco, braços e pernas tornam-se pontos em um esqueleto digital, cada um com medidas detalhadas como velocidade, aceleração e ângulos das articulações ao longo do tempo. Esse fluxo rico de dados vira a matéria-prima para um treinador automatizado.

Ensinando a um computador como é um “bom movimento”

Para transformar o conhecimento dos especialistas em um padrão de treinamento, a equipe primeiro pediu que arqueólogos profissionais executassem tarefas típicas com colher de pedreiro, picareta e pá. Esses exemplos de especialistas servem como movimentos “ideais”. Um modelo de inteligência artificial especializado, chamado AEforGraph, aprende então a comprimir cada sequência de movimento em um código interno compacto que preserva como as articulações do corpo se movem conjuntamente no espaço e no tempo. Esse modelo dá mais atenção às articulações mais críticas — por exemplo, a mão e o antebraço em trabalhos finos com colher de pedreiro — de modo que segurança e precisão nas áreas-chave importem mais que movimentos de fundo em outros pontos.

Como o sistema identifica erros

Uma vez que o modelo aprendeu esses códigos internos de movimento, ele agrupa movimentos semelhantes em clusters, cada um centrado em um padrão de referência que reflete uma ação ideal, como um balanço correto de pá. Quando um aprendiz executa um novo movimento, o sistema o codifica, encontra o padrão de referência mais próximo e reconstrói o que o aprendiz realmente fez. Comparando a reconstrução do aprendiz com a ideal articulação por articulação e instante a instante, o sistema pode estimar o quanto cada parte do corpo se desviou da forma de especialista. Essas diferenças podem ser traduzidas em feedbacks fáceis de entender, como qual segmento do braço se moveu rápido demais ou em ângulo incorreto.

Testando o treinador virtual

A equipe registrou 509 movimentos reais de oito arqueólogos para treinar e avaliar o sistema. Seu autoencoder, AEforGraph, reproduziu os dados de movimento com muita precisão, mantendo mais de noventa por cento da variação original enquanto reduzia muito sua complexidade. Comparado com um modelo de referência bem conhecido, apresentou desempenho superior em capturar como os movimentos se desenrolam ao longo do tempo. Ao ser usado para classificar movimentos em três grupos relacionados a ferramentas — colher de pedreiro, picareta e pá — o método de clusterização semi-supervisionado atribuiu corretamente mais de 97% das amostras. Em testes ao vivo em RV com todo o hardware em funcionamento, o sistema normalmente retornava feedback em cerca de um segundo após cada ação gravada e quase sempre escolhia o cluster correto para o movimento executado.

Por que isso importa além da arqueologia

Do ponto de vista de um leigo, a principal conquista é um roteiro funcional para um treinador digital de movimentos: a realidade virtual fornece um ambiente seguro e realista; sensores de captura de movimento registram o comportamento corporal em detalhe; e um modelo inteligente compara cada tentativa com exemplos de especialistas para entregar feedbacks direcionados em tempo real. Embora o estudo de caso foque em arqueólogos, a estrutura é geral. Com exemplos e dados de movimento adequados, a mesma abordagem poderia ajudar a aprimorar tarefas na medicina, reabilitação, manufatura ou esportes, orientando as pessoas em direção a movimentos mais seguros e eficientes sem precisar de um instrutor ao lado em cada repetição.

Citação: Pradisi, V., Marini, M.R., Castelli Gattinara Di Zubiena, F. et al. Spatio-temporal graph autoencoder for automated evaluation of human actions in 3D in immersive VR-based training for archaeologists. Sci Rep 16, 10568 (2026). https://doi.org/10.1038/s41598-026-46138-0

Palavras-chave: treinamento em realidade virtual, captura de movimento, arqueologia, análise do movimento humano, redes neurais em grafos