אינטראקציה מגולמת מבוססת תנוחות למורשת ריקוד דונחואנג הדיגיטלית

רוקדים עם ציורי הקיר העתיקים

ריקוד דונחואנג, בהשראת הדמויות המסתובבות בציורי הקיר במערות מוגאו שבסין, מרהיב מבחינה ויזואלית ודורש מיומנות טכנית. עבור מבקרים ולומדים זה יכול להיות קשה לעבור מהערצה של גופים מצוירים על קיר לביצוע הקימורים הזורמים שלהם במציאות. מאמר זה מציג מערכת אינטראקטיבית מבוססת מצלמה שמאפשרת לכל מי שיש לו מחשב נייד להיכנס לאותן תנוחות מתוך הציורים, לקבל הנחיה בזמן אמת עד כמה הם קרובים לצורת האידיאל, ולהפוך ברגעי השיא שלהם לפוסטרים דיגיטליים בסגנון דונחואנג.

מציורי המערות לתנועה חיה

מורשת תרבותית שאינה מוחשית, כגון ריקוד, קשה יותר לשימור מאשר פסלים או ציורי קיר כי היא חיה בגוף, לא באבן. אף על פי שמערות דונחואנג נסרקו וארכיבו בפרטי חזות מרהיבים, רוב הפרויקטים הדיגיטליים עדיין מבקשים מאנשים להסתכל, לא לזוז. המחברים טוענים שלהחיות באמת את המסורת יש צורך בפרקטיקה מגולמת — ניסיון של התנוחות, התאמה ברגע, והרגשת הסגנון בשרירים. הם ביקשו לבנות מערכת שעושה בדיוק את זה, באמצעות חומרה צרכנית בלבד כמו מצלמת רשת סטנדרטית ומחשב נייד, כך שמוזיאונים, כיתות ומרכזים תרבותיים יוכלו לאמץ אותה ללא ציוד יקר.

ללמד מחשב לקרוא תנוחה

על מנת לאמן את המערכת, הצוות אסף 23 סרטונים של רקדני דונחואנג מקצועיים וחצי־מקצועיים המבצעים חמש תנוחות קלאסיות. מהם חילצו כ־1,230 פריימים סטטיים שתופסים גרסאות נכונות וכן לא מושלמות של כל תנוחה. מתווכים אנושיים — כולל מומחי ריקוד ולא־מומחים — תויגו כל פריים כ"טוב" או "רע" על בסיס קריטריונים ברורים כמו גובה הזרועות, קימור הגו והסימטריה, עם הסכמה משמעותית בין המעריכים. כלי קל משקל של גוגל בשם MediaPipe המיר אז כל תמונה של הרקדן ל־33 נקודות גוף מרכזיות — כגון כתפיים, ירכיים, מרפקים פרק כף יד — המיוצגות כקוֹאורדינטות 2D פשוטות. זה הפך תמונות עשירות לתיאורים מספריים קומפקטיים של היציבה.

איך המערכת שופטת את התנועה שלך

על בסיס נקודות שלדיות אלה, החוקרים השוו שמונה שיטות קלאסיות של למידת מכונה לראות אילו יכולות להבחין הכי טוב בין תנוחות טובות ורעות. במקום רשתות עצביות עמוקות, שדורשות מערכי נתונים עצומים וכרטיסי גרפיקה חזקים, הם התמקדות באלגוריתמים שרצים במהירות על מכונות יומיומיות. שיטה שנקראת Random Forest, המשלבת עצי החלטה פשוטים רבים, עלתה כמנצחת הברורה, כאשר סיווג נכון של איכות התנוחה נעשה בכ־98.5% מהזמן ולעתים נדירות פספסה תנוחה שבאמת הייתה נכונה. היא גם טיפלה במשימה קשה יותר: לזהות לא רק איכות אלא איזו מתוך חמשת התנוחות המשתמש ניסה לבצע, והגיעה לדיוק של מעל 97% גם כאשר כמה עמדות היו דומות מאוד.

מתנועה לפוסטר דונחואנג אישי

לאחר האימון, המודל הוטמע בתוכנית אינטראקטיבית עם ארבעה שלבים עיקריים. ראשית, המשתמש בוחר תנוחה יעד ואפקטים חזותיים אופציונליים, ואז עומד מול מצלמת הרשת. המערכת עוקבת אחר השלד שלו בזמן אמת בקצב של כ־20–25 פריימים לשנייה, ובדיקה מתמדת גם איזו תנוחה הוא מבצע וגם עד כמה הוא מבצע אותה היטב. כאשר אדם שומר על התנוחה הנכונה בקביעות במשך מספר שניות, המערכת לוכדת פריים, מחסרת את הרקע ומרכיבה את דמותו בסצנה בהשראת דונחואנג — כולל צבעים בסגנון ציורי קיר, הילות ורצועות המותאמות למפרקיו. המשתמשים יכולים לצפות ולהוריד את הפוסטר האנכי הזה, שמשלב את התנועה החיה שלהם עם שפת הוויזואלית של אמנות המערה העתיקה.

מדוע זה חשוב לשימור מסורות

ללא־מומחים, המסקנה המרכזית היא ששימור מסורת ריקודית אינו רק הקלטת סרטונים; מדובר בהזמנת אנשים להטמיע את התנועות הללו בעצמם. עבודה זו מראה שאלגוריתמים יחסית פשוטים ושקופים ומערך נתונים צנוע יכולים לספק משוב מהיר ומדויק שמרגיש תגובתי מספיק כדי להנחות למידה. על ידי הפיכת תנוחות נכונות לפוסטרים בסגנון דונחואנג שניתן לשתף, המערכת הופכת תרגול לחוויה תרבותית משחקית ולא למבחן. המחברים רואים בכך צעד לקראת "שימור מופע": שימוש בטכנולוגיה אינטראקטיבית כך שהמורשת לא רק תצופה ותאוחר בארכיון, אלא גם תתנגן מחדש ותהיה מורגשת, מה שעוזר לדמויות הציורים העתיקות להמשיך "לרקוד" באמצעות גופם של הלומדים של היום.

ציטוט: Fu, Q., Zhou, Y. & Ding, X. Pose-based embodied interaction for digital Dunhuang dance heritage. npj Herit. Sci. 14, 223 (2026). https://doi.org/10.1038/s40494-026-02470-2

מילות מפתח: ריקוד דונחואנג, מורשת תרבותית שאינה מוחשית, זיהוי תנוחות, למידה אינטראקטיבית, טכנולוגיית מורשת תרבותית