למידה עצמי-מפוקחת מודעת סמנטיקה באמצעות רגרסיית תת-פעולה פרוגרסיבית להערכת איכות פעולה

מבט חדש על הביצועים

כשאנו צופים בצוללנים אולימפיים או בספורטאים ברמת על, אנו מרגישים באינטואיציה מי ביצע טוב יותר, אך להפוך תחושה זו למספרים אובייקטיביים קשה. מערכות אוטומטיות של היום יכולות להעניק "ציון" כולל לפעולה, אך לעתים נדירות מסבירות מדוע צלילה היתה טובה או רעה, או איזה חלק זקוק לשיפור. מאמר זה מציע דרך חדשה למחשבים לצפות בפעולות מורכבות בוידאו, לפרק אותן לחלקים שניתנים להבנה ולדרג כל חלק בנפרד — מה שמספק משוב הקרוב למה שמאמן אנושי היה נותן.

פירוק תנועה מורכבת לחלקים שניתנים לניהול

כלים רבים להערכת איכות פעולה מתייחסים לצלילה או לתנועה כיחידה אחת שלמה ומפיקים רק ציון כולל. זה מסתיר פרטים קריטיים: צולל יכול להמריא באופן מושלם אך להיכנס למים בצורה גרועה, ומספר יחיד אינו יכול לחשוף זאת. המחברים מתמודדים עם הבעיה על־ידי לימוד המערכת כיצד לחלק כל וידאו לשלבים משמעותיים, או תת-פעולות, כגון התחלה, המראה, טיסה וכניסה. באופן חשוב, החלוקה הזו נעשית אוטומטית, ללא סימון ידני של גבולות השלבים. שיטת אשכול בלתי מפוקחת מאגדת פריימים סמוכים "המתנהגים" באופן דומה לאורך הזמן, ומקנה למערכת סטורי-בורד חצי-מכוון אך אמין של הביצוע.

להניח למערכת ללמד את עצמה מה חשוב

לאחר שהוידאו מחולק לשלבים, המערכת צריכה להבין כיצד נראה כל שלב כאשר הוא מתבצע טוב או רע. במקום להסתמך על תיוגים ידניים צפופים, המחברים משתמשים בלמידה עצמי-מפוקחת: מציגים למודל הרבה גרסאות של אותה תת-פעולה שבהן חלקי פריימים הוסרו בכוונה או "הושתקו". המערכת חייבת עדיין לייצר תיאורים פנימיים דומים עבור הקליפים המלאים והחסרים בחלקם. על ידי למידה להתעלם מפערים מלאכותיים אלה, היא הופכת חסינה לבעיות אמיתיות כמו חסימות קצרות, פריימים חסרים או גבולות שלבים לא מדויקים במקצת, ולומדת להתמקד בתבניות התנועה והיציבה העיקריות שמגדירות איכות.

מציון כולל אחד לעשרות תת‑ציונים מועילים

במאגרי נתונים אמיתיים בדרך כלל יש רק ציון כולל לכל צלילה, ולא דירוגים נפרדים לכל שלב. כדי להתגבר על כך, המחברים מציעים אסטרטגיית "פseudו-תת-ציון" פרוגרסיבית. ראשית, הם ממזגים את הציון הכולל עם התכונות החדשות של כל תת-פעולה ומאמנים רשתות קטנות לנחש ציון זמני לכל שלב. לאחר מכן הם משכללים את הניחושים האלה על ידי אפשרות לזרימת מידע לאורך הרצף: תכונות כל שלב מעודכנות באמצעות ציוני השלבים הקודמים, ובכך נלכד כיצד טעות קטנה בהמראה עלולה להתפשט לטיסה ולכניסה. בגרסה שנייה לכל שלב יש גישה לכל ציוני השלבים הקודמים, מה שמדמה סיבתיות לטווח ארוך לאורך כל הפעולה. לבסוף, רשת רגרסיה קומפקטית משלבת את תת-הציונים המעודכנים לחיזוי כולל, כעת בלי צורך לקבל כקלט את הציון האמיתי.

בדיקה בתחרויות צלילה אמיתיות

החוקרים העריכו את המסגרת שלהם על שני מאגרי צלילה תובעניים שנרשמו מתחרויות בינלאומיות מרכזיות. אוספים אלה מספקים ציונים כוללים משופטים אנושיים, ובמקרים מסוימים גם תזמוני שלבים גסים, אך ללא תוויות איכות ברמת השלבים. השיטה החדשה השיגה קורלציית דירוג משובחת (state-of-the-art), כלומר הסידור שלה של הספורטאים קרוב לסידור של שופטים מומחים, ובמקביל הפחיתה שגיאות מספריות בציונים החזויים. ניסויי "אבולציה" מדוקדקים הראו ששתי הרעיונות המרכזיים — שיפור התכונות באמצעות למידה עצמי-מפוקחת ומודל הפseudו-תת-ציונים הפרוגרסיבי — תורמים שיפורים משמעותיים. במיוחד, שימוש בגבולות שלבים אוטומטיים נתן ביצועים שקרובים מאוד לאלה המתקבלים מסימונים אנושיים קפדניים, מה שמעיד על עמידות המערכת לחלוקה לא מדויקת.

להפוך מספרים לטיפים מאמנתיים תובנתיים

מעבר לדיוק, גישה זו הופכת את הדירוג האוטומטי ליותר מובן. על ידי הענקת ציון נפרד לכל שלב בצלילה, המערכת יכולה להצביע, למשל, ששני צוללנים חולקים המראות וטיסות דומות אך שונים באופן ניכר בכניסה, שם אחד יוצר ריסוס גדול. ניתוח של דגימות רבות מאשר שציוני השלבים משקפים את אותן עדיפויות כמו שופטים אנושיים, כאשר שלב הכניסה לעתים קרובות נושא את המשקל הרב ביותר. במונחים מעשיים, השיטה יכולה לכוון ספורטאים ומאמנים לחלק המדויק של הביצוע שדורש שיפור, ועדיין פועלת מתוך נתוני אימון יחסית פשוטים. על אף שהודגמה בצלילה, הרעיון גמיש דיין להתרחב למשימות מרובות־שלבים אחרות — מהליכים ניתוחיים ועד תרגילי שיקום — שבהן הבנת תרומת כל מקטע לאיכות הכוללת היא מפתח.

ציטוט: Mazruei, M., Fazl-Ersi, E., Vahedian, A. et al. Semantic-aware self-supervised learning using progressive sub-action regression for action quality assessment. Sci Rep 16, 6670 (2026). https://doi.org/10.1038/s41598-026-36668-y

מילות מפתח: הערכה של איכות פעולה, ניתוח וידאו של ספורט, למידה עצמי-מפוקחת, דירוג תנועת אדם, למידה עמוקה לאימון