זיהוי דינמי של תרגילי ידיים עבור שיקום אצבעות מבוסס משחק

מדוע משחקי וידאו יכולים לעזור לידיים עייפות להחלים

לאנשים רבים שמתאוששים משבץ, דלקת פרקים או פגיעות בזרוע, הרופאים מרשמים תרגילי ידיים ואצבעות תכופים. התנועות הללו פשוטות אך חייבים לחזור עליהן שוב ושוב, מה שעלול במהרה להפוך לשעמום. במחקר זה בוחנים כיצד להפוך את אותם תרגילי אצבע קליניים לבקרות של משחק וידאו, כך שהמטופלים יתאמנו על אותן תנועות בזמן משחק ובהנאה.

הפיכת תנועות טיפול לבקרות משחק

החוקרים התרכזו בשבע תרגילי אצבע נפוצים המשמשים במרפאות, כגון סגירת אגרוף, פישוק האצבעות, נגיעה באגודל בכל אצבע ומתיחת האגודל. במקום להשתמש במחוות יד גנריות כמו ספירה על האצבעות, הם בנו מאגר תמונות חדש המבוסס כולו על אותן תנועות טיפול אמיתיות. ארבעה עשר מתנדבים צולמו מבצעים כל תרגיל עם שתי הידיים בתאורות ורקעים שונים, ויצרו 2,800 תמונות צבע שמשקפות טוב יותר מה מטופלים אמיתיים יעשו במהלך שיקום האצבעות.

לימוד המחשב לקרוא את היד

כדי לזהות את התרגילים באופן אוטומטי, הצוות השתמש ברשת זיהוי תמונות מוכרת בשם VGG16. במקום לאמן מודל ענק מאפס, הם השתמשו בלמידת העברה, שבה ידע ממערכת שכבר אומנה על מיליוני תמונות יומיומיות מותאם למשימה חדשה. ראשית שמרו על מבנה הרשת המקורי ללא שינוי והוסיפו את השכבות הסופיות שלהם כדי להבחין בין שבעת התרגילים. לאחר מכן אפשרו לכמה השכבות האחרונות של הרשת הבסיסית להתאים מעט לתמונות היד החדשות. שלב הכוונון העדין הזה סייע למערכת לתפוס את ההבדלים הדקים בין תנוחות אצבע דומות.

כמה טוב המערכת הבינה את היד

בתמונות חדשות של אנשים שהרשת לא ראתה במהלך האימון, המודל זיהה נכון את התרגילים בכ-82 אחוזים לפני הכוונון העדין וכ-85 אחוזים לאחריו. הטעויות הגדולות ביותר התרחשו בהבחנה בין תרגילי האצבע האמצעית והטבעת, במיוחד כאשר התמונות הועפו שמאלה-ימינה, משום שתבניות של אצבעות כפופות ויישרות נראו דומות מאוד. באמצעות מפות חום מיוחדות הציג הצוות שהמודל ממקד אזורים שבהם מופיעות האצבעות והאגודל, מה שחשף מדוע תנוחות מסוימות התבלבלו לעיתים קרובות. על אף זאת, הדיוק הכולל היה גבוה מספיק לשימוש חלק בהקשר משחקי.

לשחק באולינג בעזרת האצבעות

כדי לבדוק את המערכת בפועל, החוקרים חיברו אותה למשחק וידאו פשוט של אולינג. מצלמה שידרה תצוגה חיה של יד השחקן, מודל הזיהוי זיהה את תרגיל האצבע הנוכחי, וכל מחווה הוקצתה לאחת מפעולות המשחק, כגון להזיז את השחקן מעלה או מטה או לזרוק את הכדור. בכך, כל תנועה במשחק דרשה תרגיל שיקום אמיתי, כך שמשחק שווה אימון. חמישה עשר מתנדבים בריאים ניסו את המערכת בשתי מפגשים קצרים, לאחר תקופת תרגול קצרה כדי ללמוד איזו מחווה מפעילה איזו פעולה.

מה השחקנים חשו במהלך המשחק

לאחר המשחק, המשתתפים מילאו שאלונים סטנדרטיים שמודדים הנאה, מוטיבציה, תחושת שליטה, שקיעה (immersions) והאם המשחק גרם לכאב. רוב השחקנים דיווחו שהמשחק היה מהנה, הרגישו שהם משתפרים בשימוש במחוות, ולא הרגישו לחוצים או מתוחים. הם גם אמרו שהמשחק לא היה קשה מדי לשליטה ובאופן כללי ללא כאבים, מה שמעיד שהתרגילים היו נוחים. אף שלא כולם אמרו שישחקו כל יום, רבים מצאו את הרעיון יעיל ומעניין לתמיכה בתרגיל היד.

מדוע זה חשוב למשחקי שיקום עתידיים

עבודה זו מראה ששימוש במערכת זיהוי המבוססת על תרגילי טיפול אמיתיים יכול להפוך את אימון האצבעות במשחק גם לפרקטי וגם למרתק. למרות שהמודל לפעמים קרא בצורה שגויה פריימים בודדים, המשחק הגיב לזרם רציף של תנוחות יד, כך שטעויות קצרות נדירות הפריעו למשחק. המחברים רואים במאגר הנתונים והתוצאות שלהם נקודת מוצא למערכות מתקדמות יותר ולמחקרים עתידיים עם מבוגרים ועם אנשים עם לקויות יד, שבהם משחקי כושר כאלה יכולים לסייע לשמור על תרגול חוזר מדויק ומהנה כאחד.

ציטוט: Ajani, O.S., Darlan, D., Aboyeji, E. et al. Dynamic hand exercise recognition for game-based finger rehabilitation. Sci Rep 16, 15007 (2026). https://doi.org/10.1038/s41598-026-42693-8

מילות מפתח: שיקום אצבעות, זיהוי מחוות יד, משחקי כושר, למידת העברה, טיפול וירטואלי