Autoencoder gráfico espaciotemporal para la evaluación automatizada de acciones humanas en 3D en entrenamiento inmersivo en RV para arqueólogos

Practicar labores delicadas sin salir del laboratorio

Muchos trabajos dependen de movimientos corporales precisos y seguros, pero practicar en el mundo real puede ser arriesgado, costoso o difícil de repetir. Este estudio muestra cómo la realidad virtual y la tecnología de seguimiento de movimiento pueden combinarse con inteligencia artificial para entrenar a arqueólogos mientras excavan, raspan y levantan objetos dentro de un yacimiento digital. Las mismas ideas podrían, algún día, ayudar a formar a cirujanos, operarios de fábrica o atletas transformando el movimiento de expertos en un estándar que cualquiera pueda aprender a igualar.

Entrar en un yacimiento virtual

Los investigadores construyeron un sistema de entrenamiento inmersivo que sitúa al arqueólogo en un área de excavación virtual usando un casco Meta Quest 3. Al mismo tiempo, un traje de captura de movimiento Xsens MVN Awinda, equipado con 17 pequeños sensores, registra cómo se mueve cada parte del cuerpo en tres dimensiones. En lugar de limitarse a reproducir el movimiento, el sistema transforma cada grabación en una descripción estructurada del cuerpo: cabeza, tronco, brazos y piernas se convierten en puntos de un esqueleto digital, cada uno con mediciones detalladas como velocidad, aceleración y ángulos articulares a lo largo del tiempo. Este rico flujo de datos se convierte en la materia prima para un entrenador automatizado.

Enseñar a la máquina cómo es un “buen movimiento”

Para convertir el saber experto en un estándar de entrenamiento, el equipo pidió primero a arqueólogos profesionales que realizaran tareas típicas con paleta, pico y pala. Estos ejemplos de expertos sirven como movimientos “ideales”. Un modelo de inteligencia artificial especializado, llamado AEforGraph, aprende entonces a comprimir cada secuencia de movimiento en un código interno compacto que preserva cómo se mueven las articulaciones en conjunto en el espacio y el tiempo. Este modelo presta más atención a las articulaciones más críticas —por ejemplo, la mano y el antebrazo en trabajos finos con la paleta— de modo que la seguridad y la precisión en áreas clave importan más que el movimiento de fondo en otras partes.

Cómo el sistema detecta errores

Una vez que el modelo ha aprendido estos códigos internos de movimiento, agrupa movimientos similares en clústeres, cada uno centrado en un patrón de referencia que refleja una acción ideal, como un balanceo correcto de pala. Cuando un aprendiz realiza un nuevo movimiento, el sistema lo codifica, encuentra el patrón de referencia más cercano y luego reconstruye lo que el aprendiz hizo realmente. Al comparar la reconstrucción del alumno con la ideal articulación por articulación e instante a instante, el sistema puede estimar cuánto se desvió cada parte del cuerpo de la forma de un experto. Estas diferencias pueden traducirse en retroalimentación fácil de entender, por ejemplo, qué segmento del brazo se movió demasiado rápido o en un ángulo incorrecto.

Poner a prueba al entrenador virtual

El equipo registró 509 movimientos reales de ocho arqueólogos para entrenar y evaluar el sistema. Su autoencoder, AEforGraph, reprodujo los datos de movimiento con gran precisión, conservando más del noventa por ciento de la variación original mientras reducía notablemente su complejidad. En comparación con un modelo de referencia conocido, capturó mejor cómo se desarrollan los movimientos a lo largo del tiempo. Al utilizarse para clasificar movimientos en tres grupos relacionados con herramientas —paleta, pico y pala—, el método de clustering semi-supervisado asignó correctamente más del 97 por ciento de las muestras. En pruebas en vivo en RV con todo el hardware funcionando, el sistema normalmente devolvía retroalimentación en alrededor de un segundo tras cada acción registrada y casi siempre elegía el clúster correcto para el movimiento realizado.

Por qué esto importa más allá de la arqueología

Desde la perspectiva de un profano, el logro principal es un plano funcional para un entrenador digital de movimientos: la realidad virtual ofrece un entorno seguro y realista; los sensores de captura de movimiento registran el comportamiento corporal con detalle; y un modelo inteligente compara cada intento con ejemplos de expertos para ofrecer retroalimentación específica en tiempo real. Aunque el estudio de caso se centra en arqueólogos, el marco es general. Con ejemplos adecuados y datos de movimiento, el mismo enfoque podría ayudar a perfeccionar tareas en medicina, rehabilitación, manufactura o deportes, orientando a las personas hacia movimientos más seguros y eficientes sin necesidad de un instructor presente en cada repetición.

Cita: Pradisi, V., Marini, M.R., Castelli Gattinara Di Zubiena, F. et al. Spatio-temporal graph autoencoder for automated evaluation of human actions in 3D in immersive VR-based training for archaeologists. Sci Rep 16, 10568 (2026). https://doi.org/10.1038/s41598-026-46138-0

Palabras clave: entrenamiento en realidad virtual, captura de movimiento, arqueología, análisis del movimiento humano, redes neuronales de grafos