Aprendizaje auto-supervisado consciente de la semántica mediante regresión progresiva de subacciones para la evaluación de la calidad de la acción

Ver el rendimiento con una nueva perspectiva

Cuando observamos a saltadores olímpicos u otros atletas de élite, intuimos quién rindió mejor, pero convertir esa intuición en números objetivos es difícil. Los sistemas automáticos de vídeo actuales pueden asignar una “puntuación” global a una acción, pero rara vez explican por qué un salto fue bueno o malo, o qué parte necesita mejorar. Este artículo presenta una nueva forma para que los ordenadores analicen acciones complejas en vídeo, las dividan en piezas comprensibles y puntúen cada fragmento por separado, ofreciendo retroalimentación más parecida a la que daría un entrenador humano.

Dividir un movimiento complejo en partes manejables

Muchas herramientas actuales de evaluación de calidad tratan un salto o movimiento completo como un único bloque, produciendo solo una puntuación global. Eso oculta detalles cruciales: un saltador puede despegar perfectamente pero entrar al agua mal, y un único número no lo revela. Los autores abordan esto enseñando al ordenador a dividir cada vídeo en etapas significativas, o subacciones, como inicio, despegue, vuelo y entrada. Es importante que esta división se haga automáticamente, sin marcas humanas que indiquen dónde termina una etapa y empieza la siguiente. Un método de agrupamiento no supervisado reúne fotogramas cercanos que “se comportan” de forma similar en el tiempo, proporcionando al sistema un guion aproximado pero fiable de la actuación.

Dejar que el sistema se enseñe qué importa

Una vez dividido el vídeo en etapas, el sistema debe comprender cómo se ve cada etapa cuando se realiza bien o mal. En lugar de depender de etiquetas densas y hechas a mano, los autores usan aprendizaje auto-supervisado: al modelo se le muestran muchas versiones de la misma subacción en las que se eliminan deliberadamente fragmentos de fotogramas o se “enmascaran”. El sistema debe producir descripciones internas similares tanto para los clips completos como para los parcialmente incompletos. Al aprender a ignorar estas lagunas artificiales, se vuelve robusto frente a problemas del mundo real como oclusiones breves, fotogramas perdidos o límites de etapa ligeramente inexactos, y aprende a centrarse en los patrones esenciales de movimiento y postura que definen la calidad.

De una puntuación global a muchas subpuntuaciones útiles

Los conjuntos de datos reales suelen contener solo una puntuación global por cada salto, no valoraciones separadas por etapa. Para superar esto, los autores introducen una estrategia progresiva de “pseudo-subpuntuaciones”. Primero, fusionan la puntuación global con las características recién aprendidas de cada subacción y entrenan pequeñas redes para estimar una puntuación provisional para cada etapa. Luego, refinan estas estimaciones permitiendo que la información fluya a lo largo de la secuencia: las características de cada etapa se actualizan usando las puntuaciones de etapas anteriores, capturando cómo un pequeño error en el despegue puede propagarse al vuelo y a la entrada. En una segunda variante, cada etapa tiene acceso a todas las puntuaciones previas, modelando causas y efectos a largo plazo a lo largo de la acción. Finalmente, una red de regresión compacta combina las subpuntuaciones refinadas en una predicción global, ya sin necesitar la puntuación de referencia en su entrada.

Pruebas en competiciones reales de salto

Los investigadores evaluaron su marco en dos exigentes conjuntos de datos de clavados grabados en competiciones internacionales importantes. Estas colecciones proporcionan puntuaciones globales de jueces humanos y, en algunos casos, tiempos aproximados de las etapas, pero no etiquetas de calidad a nivel de etapa. El nuevo método alcanzó una correlación por rangos de última generación, lo que significa que su ordenación de los atletas coincide estrechamente con la de los jueces expertos, al tiempo que reduce los errores numéricos en las puntuaciones predichas. Pruebas de “ablación” cuidadosas mostraron que ambas ideas principales —el refinamiento de características auto-supervisado y el modelado progresivo de pseudo-subpuntuaciones— aportan mejoras sustanciales. Cabe destacar que usar límites de etapa automáticos rindió casi tan bien como usar anotaciones humanas minuciosas, lo que indica que el sistema es resistente a una segmentación imperfecta.

Convertir números en consejos de coaching reveladores

Más allá de la precisión, este enfoque hace que la puntuación automática sea más interpretable. Al asignar una puntuación separada a cada etapa de un salto, el sistema puede destacar, por ejemplo, que dos saltadores comparten despegues y fases de vuelo similares pero difieren notablemente en la entrada, donde uno genera una gran salpicadura. El análisis de muchas muestras confirma que estas subpuntuaciones siguen las mismas prioridades que los jueces humanos, con la fase de entrada a menudo con mayor peso. En términos prácticos, el método puede indicar a deportistas y entrenadores la parte exacta de una actuación que necesita mejora, y funciona con datos de entrenamiento relativamente simples. Aunque se demuestra en clavados, el concepto es lo bastante flexible como para extenderse a otras tareas por pasos —desde procedimientos quirúrgicos hasta ejercicios de rehabilitación— donde entender cómo cada segmento contribuye a la calidad global es clave.

Cita: Mazruei, M., Fazl-Ersi, E., Vahedian, A. et al. Semantic-aware self-supervised learning using progressive sub-action regression for action quality assessment. Sci Rep 16, 6670 (2026). https://doi.org/10.1038/s41598-026-36668-y

Palabras clave: evaluación de la calidad de la acción, análisis de vídeo deportivo, aprendizaje auto-supervisado, puntuación del movimiento humano, aprendizaje profundo para entrenamiento