Aprendizado auto-supervisionado consciente de semântica usando regressão progressiva de sub-ações para avaliação da qualidade da ação

Vendo o desempenho sob uma nova lente

Quando assistimos a mergulhadores olímpicos ou outros atletas de alto nível, percebemos instinctivamente quem se saiu melhor, mas transformar essa intuição em números objetivos é difícil. Os sistemas automatizados de vídeo atuais podem atribuir uma “nota” geral a uma ação, porém raramente explicam por que um mergulho foi bom ou ruim, ou qual parte precisa ser aprimorada. Este artigo apresenta uma nova maneira de as máquinas observarem ações complexas em vídeo, dividi-las em partes compreensíveis e pontuar cada parte separadamente — oferecendo feedback mais próximo do que um treinador humano daria.

Dividindo um movimento complexo em pedaços manejáveis

Muitas ferramentas atuais de avaliação de qualidade tratam um mergulho ou movimento completo como um único bloco, produzindo apenas uma nota geral. Isso oculta detalhes cruciais: um mergulhador pode executar perfeitamente a saída, mas entrar mal na água, e um único número não revela isso. Os autores enfrentam esse problema ensinando o computador a dividir cada vídeo em estágios significativos, ou sub‑ações, como início, decolagem, voo e entrada. Importante: essa divisão é feita automaticamente, sem marcações humanas indicando onde um estágio termina e o próximo começa. Um método de agrupamento não supervisionado junta quadros vizinhos que “se comportam” de forma semelhante ao longo do tempo, fornecendo ao sistema um roteiro aproximado mas confiável da performance.

Deixando o sistema ensinar a si mesmo o que importa

Uma vez que o vídeo é dividido em estágios, o sistema precisa entender como cada estágio se parece quando é bem ou mal executado. Em vez de depender de rótulos densos e feitos à mão, os autores usam aprendizado auto‑supervisionado: o modelo vê muitas versões da mesma sub‑ação em que trechos de quadros são deliberadamente removidos ou “mascarados”. O sistema deve ainda produzir descrições internas semelhantes tanto para os clipes completos quanto para os parcialmente ausentes. Ao aprender a ignorar essas lacunas artificiais, ele se torna robusto a problemas do mundo real, como breves oclusões, quadros perdidos ou limites de estágio ligeiramente imprecisos, e aprende a focar nos padrões essenciais de movimento e postura que definem a qualidade.

De uma nota geral para várias sub‑notas úteis

Conjuntos de dados reais geralmente contêm apenas uma nota geral para cada mergulho, e não avaliações separadas para cada estágio. Para contornar isso, os autores introduzem uma estratégia progressiva de “pseudo‑subnotas”. Primeiro, eles fundem a nota geral com as características recém‑aprendidas de cada sub‑ação e treinam pequenas redes para estimar uma pontuação provisória para cada estágio. Em seguida, refinam essas estimativas permitindo que a informação flua ao longo da sequência: as características de cada estágio são atualizadas com base nas notas dos estágios anteriores, capturando como um pequeno erro na decolagem pode repercutir no voo e na entrada. Em uma segunda variante, cada estágio tem acesso a todas as notas de estágios anteriores, modelando causas e efeitos de longo alcance ao longo da ação. Finalmente, uma rede de regressão compacta combina as sub‑notas refinadas em uma previsão geral, agora sem precisar receber a nota real como entrada.

Testando em competições reais de mergulho

Os pesquisadores avaliaram sua estrutura em dois conjuntos de dados exigentes de mergulho gravados em grandes competições internacionais. Essas coleções fornecem notas gerais de juízes humanos e, em alguns casos, tempos aproximados dos estágios, mas não rótulos de qualidade por estágio. O novo método alcançou correlação de posto no estado da arte, ou seja, sua ordenação de atletas corresponde de perto à dos juízes especialistas, ao mesmo tempo em que reduz erros numéricos nas notas previstas. Testes de “ablação” cuidadosos mostraram que ambas as ideias principais — refinamento de características por auto‑supervisão e modelagem progressiva por pseudo‑subnotas — contribuem com melhorias substanciais. Notavelmente, usar limites de estágio automáticos teve desempenho quase tão bom quanto usar anotações humanas minuciosas, indicando que o sistema é resiliente à segmentação imperfeita.

Transformando números em dicas de treinamento perspicazes

Além da precisão, essa abordagem torna a pontuação automática mais interpretável. Ao atribuir uma nota separada a cada estágio de um mergulho, o sistema pode destacar, por exemplo, que dois mergulhadores têm decolagens e fases de voo semelhantes, mas diferem fortemente na entrada, onde um causa um grande respingo. A análise de muitas amostras confirma que essas sub‑notas seguem as mesmas prioridades dos juízes humanos, com a fase de entrada frequentemente carregando mais peso. Em termos práticos, o método pode apontar a atletas e treinadores a parte exata de uma performance que precisa de melhoria, mesmo trabalhando com dados de treinamento relativamente simples. Embora demonstrado em mergulho, o conceito é flexível o suficiente para se estender a outras tarefas em múltiplas etapas — de procedimentos cirúrgicos a exercícios de reabilitação — onde entender como cada segmento contribui para a qualidade geral é essencial.

Citação: Mazruei, M., Fazl-Ersi, E., Vahedian, A. et al. Semantic-aware self-supervised learning using progressive sub-action regression for action quality assessment. Sci Rep 16, 6670 (2026). https://doi.org/10.1038/s41598-026-36668-y

Palavras-chave: avaliação da qualidade da ação, análise de vídeo esportivo, aprendizado auto-supervisionado, pontuação do movimento humano, aprendizado profundo para treinamento