Oyun tabanlı parmak rehabilitasyonu için dinamik el egzersiz tanıma

Yorgun ellerin iyileşmesine video oyunları neden yardımcı olabilir

Felç, artrit veya diğer kol yaralanmalarından iyileşen pek çok kişi için doktorlar sık sık el ve parmak egzersizleri verir. Bu hareketler basittir fakat defalarca tekrarlanması gerekir; bu da çabucak sıkıcı hale gelebilir. Bu çalışma, klinik parmak egzersizlerini bir video oyununun kontrollerine nasıl dönüştürebileceğini araştırıyor; böylece hastalar aynı hareketleri oyun oynarken ve eğlenirken tekrar etmiş oluyor.

Tedavi hareketlerini oyun kontrollerine çevirmek

Araştırmacılar, kliniklerde kullanılan yumruk yapma, parmakları açma, başparmağı sırayla her parmağa dokundurma ve başparmağı germek gibi yedi yaygın parmak egzersizine odaklandı. Parmak sayma gibi genel el sinyalleri kullanmak yerine, tamamen bu gerçek terapi hareketlerine dayanan yeni bir görüntü koleksiyonu oluşturdular. Ondört gönüllü, farklı aydınlatma ve arka planlarda her egzersizi her iki el ile yaptı ve bu da gerçek hastaların parmak rehabilitasyonu sırasında sergileyeceği davranışları daha iyi yansıtan 2.800 renkli görüntü oluşturdu.

Bilgisayara eli okumayı öğretmek

Egzersizleri otomatik tanımak için ekip, VGG16 adlı bilinen bir görüntü tanıma ağını kullandı. Baştan büyük bir modeli eğitmek yerine, milyonlarca günlük fotoğraf üzerinde önceden eğitilmiş bir sistemin bilgisini yeni bir göreve uyarlayan transfer öğrenmeyi benimsediler. Önce orijinal ağı sabit tutup yedi egzersizi ayırt edecek kendi son katmanlarını eklediler. Ardından temel ağın son birkaç katmanının yeni el görüntülerine hafifçe uyum sağlamasına izin verdiler. Bu ince ayar adımı, benzer parmak pozları arasındaki ince farkları yakalamaya yardımcı oldu.

Sistemin eli ne kadar iyi anladığı

Ağı eğitme sırasında hiç görmediği yeni kişilerden alınan görüntülerde, model ince ayar öncesinde egzersizleri yaklaşık yüzde 82, ince ayardan sonra ise yaklaşık yüzde 85 doğrulukla tanıdı. En büyük karışıklıklar, özellikle görüntüler soldan sağa çevrildiğinde, orta parmak ve yüzük parmağı egzersizlerini ayırt etmekte ortaya çıktı; çünkü bükülmüş ve düz parmak desenleri çok benzer görünüyordu. Özel ısı haritaları kullanarak ekip, modelin bu parmakların ve başparmağın göründüğü bölgelere odaklandığını gösterdi; bu da bazı pozların neden sık karıştırıldığını ortaya koydu. Buna rağmen, genel doğruluk oyun ortamında sorunsuz kullanım için yeterince yüksekti.

Parmaklarınızla bowling oynamak

Sistemi uygulamada test etmek için araştırmacılar onu basit bir bowling video oyununa bağladılar. Bir kamera oyuncunun elinin canlı görüntüsünü yakaladı, tanıma modeli mevcut parmak egzersizini belirledi ve her jest oyun içindeki bir eyleme, örneğin oyuncuyu yukarı veya aşağı hareket ettirmeye ya da topu fırlatmaya eşlendi. Bu şekilde oyundaki her hareket gerçek bir rehabilitasyon egzersizi gerektiriyordu; yani oynamak aynı zamanda pratik yapmak anlamına geliyordu. On beş sağlıklı gönüllü, hangi jestin hangi eylemi tetiklediğini öğrenmek için kısa bir uygulama döneminden sonra sistemi iki kısa oturumda denedi.

Oyuncular oyunda neler hissetti

Oynadıktan sonra katılımcılar zevk, motivasyon, kontrol hissi, oyuna dalma ve oyunun ağrıya neden olup olmadığı gibi öğeleri ölçen standart anketleri doldurdular. Çoğu oyuncu oyunun keyifli olduğunu, jestleri kullanmada daha iyi olduklarını hissettiklerini ve baskı veya gerginlik hissetmediklerini bildirdi. Ayrıca oyunu kontrol etmenin çok zor olmadığını ve genel olarak ağrısız olduğunu söylediler; bu da egzersizlerin rahat olduğunu düşündürüyor. Herkes her gün oynarım demese de birçok kişi fikri parmak egzersizlerini desteklemek için etkili ve ilginç buldu.

Geleceğin rehabilitasyon oyunları için bunun önemi

Bu çalışma, gerçek terapi egzersizleri etrafında kurulmuş bir tanıma sistemi kullanmanın oyun tabanlı parmak antrenmanını hem uygulanabilir hem de ilgi çekici kılabileceğini gösteriyor. Model zaman zaman tek tek kareleri yanlış yorumlasa da oyun sürekli bir el pozisyonu akışına tepki verdiği için kısa hatalar nadiren oyunu etkiledi. Yazarlar, veri setlerini ve sonuçları daha gelişmiş sistemler ile ileriye dönük çalışmalarda —özellikle yaşlı yetişkinler ve el bozukluğu olan kişilerle yapılacak çalışmalarda— bir başlangıç noktası olarak görüyor; bu tür egzersiz oyunları, tekrarlayan rehabilitasyonu hem hassas hem de keyifli kılmaya yardımcı olabilir.

Atıf: Ajani, O.S., Darlan, D., Aboyeji, E. et al. Dynamic hand exercise recognition for game-based finger rehabilitation. Sci Rep 16, 15007 (2026). https://doi.org/10.1038/s41598-026-42693-8

Anahtar kelimeler: parmak rehabilitasyonu, el jesti tanıma, egzersiz oyunları, transfer öğrenme, sanal terapi