Clear Sky Science
הסברים מבוססי ראיות, עם מעט ז'רגון

Clear Sky Science · he

MoSA-Det: זיהוי עצמים אדפטיבי למצב תנועה לסרטוני ספורט

· חזרה לאינדקס

עין חדה יותר על המגרש

כשצופים במשחק חי בטלוויזיה, נראה שהמצלמות והגרפיקה עוקבות בקלות אחר כל שחקן וכדור. מאחורי הקלעים, עם זאת, מחשבים מתקשים במיוחד במערכי פעולה מהירים. מאמר זה מציג שיטה חדשה שבה אלגוריתמים "צופים" בספורט באופן שמתעדכן בקצב התנועה, ומספק מעקב נקי ואמין יותר לשימושים כמו שכבות שידור, טקטיקה ואימון.

Figure 1. כיצד התאמה למהירות התנועה עוזרת למחשבים לעקוב בבהירות רבה יותר אחר שחקנים והכדור בסרטוני ספורט.
Figure 1. כיצד התאמה למהירות התנועה עוזרת למחשבים לעקוב בבהירות רבה יותר אחר שחקנים והכדור בסרטוני ספורט.

מדוע פעולה מהירה מבלבלת מחשבים

סרטוני ספורט מלאים בזינוקים מהירים, מסירות ארוכות ותנועות מצלמה נרחבות. עבור מערכות ראיית מכונה זה יוצר שתי בעיות מרכזיות. ראשית, כאשר שחקנים או הכדור נעים במהירות הם מטושטשים, מאבדים קצוות חדים וטקסטורות שעליהן מסתמכים הגלאים. המחברים מראים שבמקרים אלה האותות הדיגיטליים בתוך הרשת נחלשים והופכים לאי‑יציבים, כך שהמערכת פחות בטוחה לגבי מה שהיא רואה. שנית, שיטות וידאו מודרניות רבות מנסות לשפר החלטות על‑ידי מיזוג מידע ממספר פריימים סמוכים. זה עובד היטב כאשר העצמים נעים מעט בין פריימים, אבל בספורט מהיר הם יכולים לזוז כל כך הרבה שמיקומם כבר לא תואם, ולכן הוספת פריימים עלולה להכניס רעש ולהפחית את הדיוק.

מערכת שמתאימה את עצמה לתנועה

החוקרים מציעים את MoSA-Det, מסגרת שמשנה את אופן העיבוד של כל אזור בתמונה בהתאם למהירות התנועה שלו. במקום לנהוג באותו אופן לכל פיקסל, המערכת מעריכה תחילה "מצב תנועה" לכל מיקום, ומחלקת אותם לסטטי, איטי או מהיר. היא עושה זאת באמצעות השוואת תכונות בין פריימים עוקבים וניתוח חוזק ההתאמה באזורים סמוכים. מפה זו של התנועה מכוונת שני מודולים מרכזיים: אחד המתמקד בשיפור הבהירות במסגרת בודדת, ואחד שמחליט כמה לסמוך על מידע מהפריימים האחרים לאורך הזמן.

ניקוי שחקנים וכדורים מטושטשים

המודול הראשון, שנקרא מודול תכונה אדפטיבי מודע לתנועה (Motion-Aware Adaptive Feature Module), מתמודד עם בעיית הטשטוש בתוך פריימים בודדים. הוא מעביר כל אזור דרך מספר מסלולים שבוחנים שכונות בגדלים שונים, מפרטים מקומיים מאוד ועד אזור רחב יותר. מפת התנועה אומרת לרשת כיצד למזג את התצפיות הללו: אזורים איטיים או עומדים מסתמכים יותר על שכונות קטנות כדי לשמר פרטים עדינים, בעוד אזורים מהירים נוטים לתצפיות רחבות שיכולות לאסוף מידע מפוזר. עבור האזורים המהירים ביותר, כגון כדור מעופף, המודול מפעיל מסלול מיוחד שלומד "לעקם" את רשת הדגימה שלו כדי לעקוב טוב יותר אחרי צורות מעוותות, ועוזר לשחזר אותות שימושיים אף תחת טשטוש חזק.

Figure 2. כיצד גלאי חכם מטפל בתנועה איטית ומהירה בצורה שונה לאורך הזמן כדי למנוע טשטוש וחוסר יישור בסרטוני ספורט.
Figure 2. כיצד גלאי חכם מטפל בתנועה איטית ומהירה בצורה שונה לאורך הזמן כדי למנוע טשטוש וחוסר יישור בסרטוני ספורט.

להשתמש בזמן רק כשהוא מועיל

המודול השני, מודול האגרגציה הטמפורלית המונחה־מצב (State-Guided Temporal Aggregation Module), מחליט כיצד לשלב מידע בין פריימים מבלי לאפשר לחוסר יישור להזיק. הוא משתמש במפת התנועה כדי לכוונן את המשקולות על פריימים קודמים ועתידיים לכל מיקום. באזורים סטטיים הוא ממזג כמה פריימים באופן די שווה, מה שמחליק רעש ויציב את הזיהויים. באזורים נעים במהירות הוא מרוכז במשקל על הפריים הנוכחי ומשתמש בהזזות נלמדות כדי ליישר בערך פריימים ישנים לפני מיזוגם, וגם אז ממזגם בזהירות. סניף קטן נוסף מזיז מעט את תיבות הגבול הסופיות כדי לתקן את אופיו של הטשטוש שמזיז את מרכז המראה של העצם הנע.

מה המשמעות של התוצאות לטכנולוגיית ספורט

נבחן בשתי מערכות נתוני וידאו גדולות מספורט—כדורגל, כדורסל וכדורעף—MoSA-Det מציג שיפור עקבי על פני שיטות חזקות קיימות. הוא מזהה שחקנים וכדור באופן מדויק יותר, במיוחד בסצנות צפופות, תחת תנועה כבדה, ובספי דיוק מחמירים שדורשים מתארים מדויקים מאוד. וחשוב שלא פחות — הוא עדיין רץ במהירות המתאימה לשידור בזמן אמת. למשקיף שאינו מומחה, המסר המרכזי הוא שהמערכת הזו מלמדת מחשבים לשים לב אחרת לתנועה איטית ומהירה במקום להשתמש בגישה אחידה לכולם, מה שמוביל למעקב נקי יותר ולגרפיקה אמינה יותר במהלך משחקים מהירים.

ציטוט: Yang, L., Sun, W. & Ren, J. MoSA-Det: motion state adaptive object detection for sports videos. Sci Rep 16, 15969 (2026). https://doi.org/10.1038/s41598-026-43231-2

מילות מפתח: זיהוי בסרטוני ספורט, מעקב עצמים, טשטוש תנועה, ראיית מכונה, למידה עמוקה