Dynamiczne rozpoznawanie ćwiczeń dłoni do rehabilitacji palców w formie gry

Dlaczego gry wideo pomagają zmęczonym dłoniom wrócić do zdrowia

Dla wielu osób rekonwalescencyjnych po udarze, z zapaleniem stawów lub innymi urazami kończyny górnej lekarze zalecają częste ćwiczenia dłoni i palców. Ruchy te są proste, ale trzeba je powtarzać wielokrotnie, co szybko staje się nużące. Badanie to pokazuje, jak przekształcić te kliniczne ćwiczenia palców w sterowanie grą wideo, aby pacjenci wykonywali te same ruchy podczas zabawy i czerpali z tego przyjemność.

Przekształcanie ruchów terapeutycznych w sterowanie grą

Badacze skupili się na siedmiu powszechnych ćwiczeniach palców stosowanych w klinikach, takich jak zaciskanie pięści, rozstawianie palców, dotykanie kciukiem kolejnych palców oraz rozciąganie kciuka. Zamiast używać ogólnych gestów dłoni, jak liczenie na palcach, zbudowali nowe zbiory zdjęć oparte wyłącznie na tych autentycznych ruchach terapeutycznych. Czternaście osób zostało sfotografowanych wykonujących każde ćwiczenie obiema rękami przy różnych warunkach oświetleniowych i tle, tworząc 2800 kolorowych obrazów, które lepiej odzwierciedlają to, co robią prawdziwi pacjenci podczas rehabilitacji palców.

Nauka komputera czytania dłoni

Aby automatycznie rozpoznawać ćwiczenia, zespół wykorzystał znaną sieć do rozpoznawania obrazów o nazwie VGG16. Zamiast trenować dużą sieć od zera, zastosowali uczenie transferowe — przeniesienie wiedzy z systemu wcześniej wytrenowanego na milionach codziennych zdjęć do nowego zadania. Najpierw zachowali oryginalną sieć niezmienioną i dodali własne warstwy końcowe, aby rozróżniać siedem ćwiczeń. Następnie pozwolili ostatnim warstwom bazowej sieci nieznacznie dopasować się do nowych zdjęć dłoni. Ten etap dopracowania pomógł systemowi wychwycić subtelne różnice między podobnymi pozycjami palców.

Jak dobrze system rozumiał dłoń

Na nowych zdjęciach od osób, których sieć nie widziała podczas treningu, model poprawnie rozpoznawał ćwiczenia w około 82 procentach przed dopracowaniem i około 85 procent po dopracowaniu. Największe błędy występowały przy rozróżnianiu ćwiczeń środkowego i serdecznego palca, zwłaszcza gdy obrazy były odwrócone lewo‑prawo, ponieważ wzory zgiętych i wyprostowanych palców wyglądały bardzo podobnie. Przy użyciu specjalnych map cieplnych zespół pokazał, że model skupiał uwagę na obszarach, gdzie pojawiają się te palce i kciuk, co wyjaśniało, dlaczego niektóre pozy były często mylone. Mimo to ogólna dokładność była wystarczająco wysoka, by zastosowanie w grze przebiegało płynnie.

Granie w kręgle za pomocą palców

Aby przetestować system w praktyce, badacze podłączyli go do prostej gry wideo w kręgle. Kamera rejestrowała na żywo widok dłoni gracza, model rozpoznawczy identyfikował aktualne ćwiczenie palców, a każdy gest mapowano na jedną z akcji gry, takich jak przesunięcie gracza w górę lub w dół czy rzut kulą. W ten sposób każdy ruch w grze wymagał rzeczywistego ćwiczenia rehabilitacyjnego, więc granie oznaczało praktykę. Piętnaście zdrowych ochotników przetestowało system w dwóch krótkich sesjach, po krótkim okresie ćwiczeń, żeby nauczyć się, który gest wywołuje jaką akcję.

Co czuli gracze podczas rozgrywki

Po grze uczestnicy wypełnili standardowe kwestionariusze mierzące przyjemność, motywację, poczucie kontroli, immersję oraz czy gra powodowała ból. Większość graczy stwierdziła, że gra była przyjemna, odczuwała poprawę w posługiwaniu się gestami i nie czuła presji ani napięcia. Zgłosili również, że gra nie była zbyt trudna w sterowaniu i generalnie była bezbolesna, co sugeruje, że ćwiczenia były wygodne. Choć nie wszyscy deklarowali, że zagrają codziennie, wielu uznało pomysł za skuteczny i interesujący jako wsparcie ćwiczeń dłoni.

Dlaczego to ma znaczenie dla przyszłych gier rehabilitacyjnych

Praca ta pokazuje, że użycie systemu rozpoznawania opartego na prawdziwych ćwiczeniach terapeutycznych może uczynić trening palców w formie gry praktycznym i angażującym. Chociaż model czasem błędnie klasyfikował pojedyncze klatki, gra reagowała na ciągły strumień pozycji dłoni, więc krótkotrwałe błędy rzadko wpływały na rozgrywkę. Autorzy traktują swój zbiór danych i wyniki jako punkt wyjścia do bardziej zaawansowanych systemów oraz do przyszłych badań z udziałem starszych dorosłych i osób z zaburzeniami dłoni, gdzie takie gry ruchowe mogą pomóc utrzymać powtarzalną rehabilitację jednocześnie dokładną i przyjemną.

Cytowanie: Ajani, O.S., Darlan, D., Aboyeji, E. et al. Dynamic hand exercise recognition for game-based finger rehabilitation. Sci Rep 16, 15007 (2026). https://doi.org/10.1038/s41598-026-42693-8

Słowa kluczowe: rehabilitacja palców, rozpoznawanie gestów dłoni, gry ruchowe, uczenie transferowe, terapia wirtualna