רשת מתנגדת גנרטיבית חוצת-מודאליות משופרת באמצעות גרף ידע לשחזור תנועות אמנויות לחימה ולשימור מורשת

מדוע קונג-פו הייטקי חשוב

אמנויות לחימה מסורתיות הן יותר מסתם בעיטות ומכות מרשימות — הן נושאות חיים של פילוסופיה, תרגול בריאות וזהות תרבותית. רבים מהמומחיות הללו קיימים כיום רק בגופם ובזיכרונם של אייסים מזדקנים, ותיעוד וידאו רגיל אינו מצליח ללכוד את העומק שלהן. מאמר זה בוחן כיצד מערכת בינה מלאכותית מתקדמת יכולה "ללמוד" אמנויות לחימה באופן עשיר ומשמעותי, כך שדורות עתידיים יוכלו ללמוד לא רק כיצד תנועה נראית, אלא גם מדוע היא נעשתה כך.

הבעיה בצילום מיומנויות עתיקות

למעלה ממאות שנים, אמנויות לחימה הועברו ממורה לתלמיד, לעיתים ללא תיעוד כתוב. מצלמות מודרניות וחליפות לכידת תנועה מסייעות, אך הן עדיין חסרות. הווידאו מפשט פעולות תלת־ממדיות של גוף שלם לשתי־ממד, ואפילו חיישנים מתוחכמים עלולים לפספס תזוזות משקל עדינות, זרימת כוח פנימית או את המטרה הטקטית מאחורי מהלך. מערכות קיימות לרוב רושמות "מה" הגוף עושה — זוויות ומיקומי מפרקים — אך מתעלמות מהרעיונות התרבותיים ועקרונות הלחימה שנותנים לכל טכניקה את נשמתה. כתוצאה מכך, תנועות בארכיון עשויות להיראות נכונות לעין שאינה מיומנת אך להרגיש שגויות למתרגלים מנוסים.

מפת דיגיטלית של חוכמת הלחימה

כדי להתמודד עם זה, המחברים בונים תחילה גרף ידע גדול של אמנויות לחימה — למעשה מפה דיגיטלית של מושגים וקשרים. הוא כולל טכניקות פרטניות, איברי גוף, כיווני כוח, התקדמויות אימון, רעיונות מרכזיים כמו "מהותי וחסר־מהות" והקשרים שבהם משתמשים בתנועות. הקישורים מבטאים יחסים כגון "עמדה זו היא קדם־נדרש למכה ההיא" או "תנועה זו מגלמת את העיקרון הזה." באמצעות שיטות למידה על גרפים, כל פריט במפה מומר לייצוג מספרי שהמחשב יכול לעבוד איתו, תוך שמירה על מבנה הידע המומחה.

ללמד בינה לקשור מילים, תמונות ותנועה

בהמשך, הצוות מעצב מערכת שיכולה להבין אמנויות לחימה דרך כמה צורות בו־זמנית: סרטונים של הופעות, הסברים כתובים ונתוני לכידת תנועה מדויקים. מודולים נפרדים מנתחים כל סוג — רשת וידאו בוחנת את הצילומים פריים אחר פריים, מודל שפה קורא תיאורים טכניים והיסטוריים, ומודל מבוסס־גרף עוקב אחר תנועת המפרקים בזמן. שלב יישור מיוחד, בהנחיית גרף הידע, מכריח את הדעות השונות הללו להסכים לגבי מהותה של טכניקה. זה מונע מהבינה להרחיק אחרי דפוסים מטעה ומסייע לה להתמודד עם מהלכים נדירים על ידי קשרם לאחרים ידועים יותר דרך עקרונות משותפים.

יצירת תנועות שמרגישות אותנטיות

על בסיס זה בונים המחברים מנוע ליצירת תנועה המבוסס על רשתות מתנגדות גנרטיביות. חלק אחד במערכת מציע רצפי תנועה חדשים; שלושה "מבקרים" שופטים אותם מזוויות שונות: דיוק תנוחה מקומית, תיאום גוף־שלם ונאמנות סגנונית לאמנות הלחימה. לאורך כל התהליך, גרף הידע משמש כמורה מפקח, מיירט את הבינה הרחק מתנוחות שיפרקו יציבות, יפרו כללי סגנון או יתעלמו משלבי מפתח בטכניקה. במבחנים על שישה סגנונות סיניים עיקריים, המערכת צמצמה שגיאות מיקום מפרקים ביותר מרבע בהשוואה לבסיסים מודרניים חזקים והשיגה ציונים גבוהים בציות לעקרונות הלחימה המקודדים.

מעבר לתנועות יפות: הצלת מסורות חיות

לא־מומחים יכולים להסיק שזה לא רק עניין של אנימציה חלקה יותר. על ידי הטמעת כללי מומחים ומשמעות תרבותית בלב מודל הבינה, השיטה יכולה לשחזר צורות שהן גם תקינות פיזית וגם נאמנות לאופי של כל סגנון — ממעגלי הזורמים של בגואו-ז'אנג ועד הקווים הפוצצים של שינג-י־צ'ואן. המחברים טוענים שמערכות מודרכות ידע כאלה יוכלו להניע כלי הוראה עתידיים, תערוכות מוזיאון וארכיונים דיגיטליים שיאפשרו לאנשים לחקור אמנויות מסורתיות באינטראקטיביות, גם ללא נוכחות מורה. בעבודה נוספת, אותו גישה עשויה לסייע בשימור פרקטיקות עדינות אחרות כמו ריקוד קלאסי או ביצוע טקסי, ולהציע דרך חדשה שבה הטכנולוגיה תתמוך במסורת האנושית במקום להחליפה.

ציטוט: Yue, X., Zhang, L. Knowledge graph enhanced cross modal generative adversarial network for martial arts motion reconstruction and heritage preservation. Sci Rep 16, 5925 (2026). https://doi.org/10.1038/s41598-026-36095-z

מילות מפתח: שימור אמנויות לחימה, יצירת תנועת אדם, גרפי ידע, בינה מלאכותית חוצת-מודאליות, רשתות מתנגדות גנרטיביות