Eylem kalitesi değerlendirmesi için kademeli alt-eylem regresyonu kullanan anlamsal farkındalıklı kendi kendine denetimsiz öğrenme

Performansı Yeni Bir Mercekle Görmek

Olimpik dalgıçları veya diğer elit sporcuları izlerken kimin daha iyi performans gösterdiğini içgüdüsel olarak anlayabiliriz, ancak bu sezgiyi nesnel sayılara dönüştürmek zordur. Günümüzün otomatik video sistemleri bir eyleme genel bir “puan” verebilir, ancak nadiren bir dalışın neden iyi veya kötü olduğunu ya da hangi bölümün geliştirilmesi gerektiğini açıklayabilirler. Bu makale, bilgisayarların videodaki karmaşık eylemleri izlemesine, bunları anlaşılabilir parçalara ayırmasına ve her parçayı ayrı ayrı puanlamasına olanak veren yeni bir yaklaşım sunuyor—insan bir koçun verebileceği geri bildirime daha yakın bir çıktı sağlıyor.

Karmaşık Bir Hareketi Yönetilebilir Parçalara Bölmek

Mevcut birçok eylem-kalite aracı tüm bir dalışı veya hareketi tek bir blok olarak ele alır ve yalnızca tek bir genel puan üretir. Bu, hayati ayrıntıları gizler: bir dalgıç mükemmel bir kalkış yapabilir ama suya girişte kötü olabilir; tek bir sayı bunu ortaya koyamaz. Yazarlar bunu, bilgisayara her videoyu başlangıç, kalkış, uçuş ve giriş gibi anlamlı aşamalara veya alt-eylemlere otomatik olarak ayırmayı öğreterek ele alıyor. Önemli olarak, bu bölme insan tarafından hiçbir yer işaretlenmeden gerçekleştirilir. Denetimsiz bir kümeleme yöntemi, zaman içinde benzer “davranış” gösteren bitişik kareleri bir araya getirir ve sisteme performansın kaba ama güvenilir bir hikâye tahtasını verir.

Sistemin Kendine Önemli Olanı Öğretmesine İzin Vermek

Video aşamalara ayrıldıktan sonra sistem, her aşamanın iyi veya kötü yapıldığında nasıl göründüğünü anlamalıdır. Yoğun, elle hazırlanmış etiketlere dayanmak yerine yazarlar kendi kendine denetimli öğrenmeyi kullanır: modele, kare parçalarının kasıtlı olarak çıkarıldığı veya “maskelendiği” aynı alt-eylemin birçok versiyonu gösterilir. Sistem yine de tam ve kısmi eksik klipler için benzer içsel betimlemeler üretmelidir. Bu yapay boşlukları görmezden gelmeyi öğrenerek, model kısa örtülmeler, eksik kareler veya hafif hatalı aşama sınırları gibi gerçek dünya sorunlarına karşı dayanıklı hale gelir ve kaliteyi tanımlayan hareket ve duruşun özlü desenlerine odaklanmayı öğrenir.

Tek Bir Genel Puandan Birçok Yararlı Alt-Puana

Gerçek veri kümeleri genellikle her dalış için yalnızca tek bir genel puan içerir; her aşama için ayrı derecelendirmeler yoktur. Bunu aşmak için yazarlar kademeli bir “sözde-altpuan” stratejisi sunar. Önce, genel puanı her alt-eylem için yeni öğrenilmiş özelliklerle birleştirir ve her aşama için geçici bir puan tahmin etmek üzere küçük ağlar eğitirler. Daha sonra bu tahminleri, bilgi akışının sıra boyunca ilerlemesine izin vererek iyileştirirler: her aşamanın özellikleri, önceki aşamaların puanları kullanılarak güncellenir; bu, kalkışta yapılan küçük bir hatanın uçuşa ve girişe nasıl dalga etkisi yapabileceğini yakalar. İkinci bir varyantta her aşama tüm önceki aşama puanlarına erişir; böylece eylem boyunca uzun menzilli neden-sonuç ilişkileri modellenir. Son olarak, sıkıştırılmış bir regresyon ağı, rafine edilmiş aşama puanlarını genel bir tahminde birleştirir; bu noktada girişte gerçek yer puanını görmeye gerek kalmaz.

Gerçek Dalış Yarışmalarında Test Etme

Araştırmacılar çerçevelerini büyük uluslararası yarışmalardan kaydedilmiş iki zorlu dalış veri kümesinde değerlendirdiler. Bu koleksiyonlar insan hakemlerin verdiği genel puanları ve bazı durumlarda kaba aşama zamanlamalarını sağlar, ancak aşama düzeyinde kalite etiketleri içermez. Yeni yöntem, sıralama korelasyonu açısından en iyi performansı gösterdi; yani sporcuların sıralamasını uzman hakemlerin sıralamasıyla yakından eşleştirirken, tahmini puanlardaki sayısal hataları da azalttı. Dikkatli yapılan “ablasyon” testleri, hem kendi kendine denetimli özellik rafinasyonu hem de kademeli sözde-altpuan modellemesinin kayda değer iyileştirmelere katkıda bulunduğunu gösterdi. Özellikle, otomatik aşama sınırlarını kullanmanın, titiz insan anotasyonları kullanmaya neredeyse eşdeğer performans sunduğu görüldü; bu da sistemin kusurlu segmentasyona karşı dayanıklı olduğunu gösteriyor.

Sayıları Anlamlı Koçluk Önerilerine Dönüştürmek

Doğruluğun ötesinde, bu yaklaşım otomatik puanlamayı daha yorumlanabilir kılıyor. Bir dalışın her aşamasına ayrı bir puan atayarak sistem, örneğin iki dalgıcın kalkış ve uçuş aşamalarının benzer olduğunu ama girişte biri büyük bir sıçrama yarattığı için keskin şekilde farklılaştıklarını vurgulayabilir. Çok sayıda örneğin analizi, bu aşama puanlarının insan hakemlerin öncelikleriyle aynı eğilimleri izlediğini; genellikle giriş aşamasının en fazla ağırlığa sahip olduğunu doğruluyor. Pratik anlamda, yöntem sporcu ve koçları performansın hangi kısmının geliştirilmesi gerektiği konusunda kesin noktalara yönlendirebilir; ve bunu nispeten basit eğitim verilerinden yapabilir. Dalış üzerinde gösterilse de, kavram cerrahi prosedürlerden rehabilitasyon egzersizlerine kadar diğer çok adımlı görevlere de kolayca genişletilebilir; çünkü her segmentin genel kaliteye katkısını anlamak anahtar önemdedir.

Atıf: Mazruei, M., Fazl-Ersi, E., Vahedian, A. et al. Semantic-aware self-supervised learning using progressive sub-action regression for action quality assessment. Sci Rep 16, 6670 (2026). https://doi.org/10.1038/s41598-026-36668-y

Anahtar kelimeler: eylem kalitesi değerlendirmesi, spor videosu analizi, kendi kendine denetimsiz öğrenme, insan hareketi puanlaması, koçluk için derin öğrenme