Semantisch-bewuste zelflerende methode met progressieve subactie-regressie voor beoordeling van actiekwaliteit

Prestaties bekijken door een nieuwe bril

Wanneer we naar olympische schoonspringers of andere topsporters kijken, voelen we intuïtief wie beter presteerde, maar die intuïtie omzetten in objectieve cijfers is moeilijk. De huidige geautomatiseerde videosystemen kunnen een algemene "score" toekennen aan een actie, maar zelden verklaren waarom een sprong goed of slecht was of welk onderdeel aandacht behoeft. Dit artikel presenteert een nieuwe manier waarop computers complexe acties in video kunnen bekijken, deze kunnen opdelen in begrijpelijke onderdelen en elk onderdeel afzonderlijk kunnen scoren—waardoor feedback ontstaat die dichter bij wat een menselijke coach zou geven ligt.

Een complexe beweging opdelen in hanteerbare delen

Veel huidige tools voor het beoordelen van actiekwaliteit behandelen een volledige sprong of beweging als één blok en geven slechts één totaalscore. Dat verbergt cruciale details: een springer kan perfect afspringen maar slecht het water ingaan, en één getal kan dat niet onthullen. De auteurs pakken dit aan door het systeem te leren elke video te splitsen in betekenisvolle fasen, of subacties, zoals start, afzet, vlucht en inslag. Belangrijk is dat deze opsplitsing automatisch gebeurt, zonder menselijke aanduiding waar de ene fase eindigt en de volgende begint. Een unsupervised clusteringmethode groepeert aangrenzende frames die zich over tijd soortgelijk "gedragen", wat het systeem een ruwe maar betrouwbare storyboard van de prestatie geeft.

Het systeem zichzelf laten leren wat telt

Zodra de video in fasen is verdeeld, moet het systeem begrijpen hoe elke fase eruitziet als die goed of slecht wordt uitgevoerd. In plaats van te leunen op uitgebreide handgemaakte labels, gebruiken de auteurs zelflerend leren: het model krijgt veel versies van dezelfde subactie te zien waarbij stukken frames doelbewust zijn verwijderd of "gemaskeerd". Het systeem moet nog steeds soortgelijke interne beschrijvingen produceren voor zowel de volledige als de gedeeltelijk ontbrekende clips. Door te leren deze kunstmatige gaten te negeren, wordt het robuust tegen reële problemen zoals korte occlusies, gemiste frames of licht onnauwkeurige faselimieten en leert het zich te concentreren op de essentiële bewegings- en houdingspatronen die kwaliteit bepalen.

Van één totaalscore naar meerdere nuttige subscores

Reële datasets bevatten meestal slechts één totaalscore per sprong, niet afzonderlijke beoordelingen voor elke fase. Om dit te overwinnen introduceren de auteurs een progressieve "pseudo-subscore"-strategie. Eerst fuseren ze de totaalscore met de nieuw geleerde kenmerken voor elke subactie en trainen ze kleine netwerken om een voorlopige score voor elke fase te raden. Vervolgens verfijnen ze deze schattingen door informatie langs de volgorde te laten stromen: de kenmerken van elke fase worden bijgewerkt met behulp van de scores van eerdere fasen, waardoor wordt vastgelegd hoe een kleine fout bij de afzet kan doorwerken naar vlucht en inslag. In een tweede variant heeft elke fase toegang tot alle voorgaande fasescores, waarmee oorzakelijke effecten over lange afstanden binnen de actie worden gemodelleerd. Ten slotte combineert een compact regressienetwerk de verfijnde fasescores tot een totaalvoorspelling, nu zonder de grondwaarheidscore als invoer te hoeven zien.

Getest op echte schoonspringcompetities

De onderzoekers evalueerden hun raamwerk op twee uitdagende schoonspringdatasets opgenomen tijdens grote internationale competities. Deze verzamelingen bieden totaalscores van menselijke jury's en in sommige gevallen ruwe tijdsaanduidingen van fasen, maar geen kwaliteitslabels per fase. De nieuwe methode behaalde een state-of-the-art rangcorrelatie, wat betekent dat de rangorde van atleten sterk overeenkomt met die van deskundige jury's, terwijl ook numerieke fouten in de voorspelde scores werden verminderd. Zorgvuldige "ablatietests" toonden aan dat beide hoofdideeën—zelflerende kenmerkenverbetering en progressieve pseudo-subscore-modellering—aanzienlijke verbeteringen bijdragen. Opvallend is dat het gebruik van automatische fasegrenzen bijna even goed presteerde als het gebruik van zorgvuldig met de hand gemaakte annotaties, wat aangeeft dat het systeem veerkrachtig is tegen onvolmaakte segmentatie.

Cijfers omzetten in zinvolle coachingtips

Buiten nauwkeurigheid maakt deze aanpak geautomatiseerde scoring beter interpreteerbaar. Door elke fase van een sprong een afzonderlijke score toe te kennen, kan het systeem bijvoorbeeld benadrukken dat twee springers vergelijkbare afzet- en vluchtfasen hebben maar sterk verschillen bij de inslag, waar de één een grote plons veroorzaakt. De analyse van veel voorbeelden bevestigt dat deze fasescores dezelfde prioriteiten volgen als menselijke jury's, waarbij de inslagfase vaak het zwaarst weegt. Praktisch gezien kan de methode atleten en coaches wijzen op het exacte deel van een prestatie dat verbetering behoeft, terwijl ze toch met relatief eenvoudige trainingsdata werkt. Hoewel aangetoond op schoonspringen, is het concept flexibel genoeg om uit te breiden naar andere meerstaps taken—van chirurgische procedures tot revalidatieoefeningen—waar het begrijpen van hoe elk segment bijdraagt aan de totale kwaliteit cruciaal is.

Bronvermelding: Mazruei, M., Fazl-Ersi, E., Vahedian, A. et al. Semantic-aware self-supervised learning using progressive sub-action regression for action quality assessment. Sci Rep 16, 6670 (2026). https://doi.org/10.1038/s41598-026-36668-y

Trefwoorden: beoordeling van actiekwaliteit, analyse van sportvideo's, zelflerend leren, beoordeling van menselijke beweging, diep leren voor coaching