Sentinel לזיהוי ומעקב מרובה עצמים המודע לאי־וודאות

שמירה על מעקב אחרי הרבה דברים בבת אחת

ממכוניות אוטונומיות ורובוטי משלוחים ועד מצלמות אבטחה חכמות ושידורי ספורט, מכונות מודרניות יותר ויותר נדרשות לעקוב בו־זמנית אחרי אנשים או עצמים רבים. אבל המציאות מסובכת: המון חוסם את שדה הראייה, מצלמות מטושטשות והמאבחנים לא בטוחים האם צללית חלשה היא אדם או רק רקע. מאמר זה מציע "Sentinel", שיטה חדשה שמאפשרת למחשבים לעקוב אחרי עצמים נעים באופן אמין יותר על ידי חשיבה מפורשת על אי־וודאות — עד כמה המערכת בטוחה או לא בטוחה במה שהיא רואה.

מדוע מעקב בעולם האמיתי קשה

מערכות מעקב מרובה עצמים עובדות בדרך כלל בשני שלבים. קודם כל, מזהים עצמים בכל פריים של הווידאו. לאחר מכן מחברים את הזיהויים הללו לאורך הזמן ליצירת מסלולים רציפים לכל פרט. מערכות קיימות נוטות לסמוך רק על הזיהויים הבטוחים ביותר, ולוותר על חלשים כדי להימנע מהתרעות שווא. זה משפר דיוק אבל פוגע בזכירה: כשיש טשטוש תנועה או חסימה חלקית, רבים מהאנשים נראים רק באופן חלש ומיוצאים. במקביל, מעקבים מסורתיים לעתים מוחקים מסלול אחרי שהוא נעדר למספר פריימים קבוע. כלל מבוסס גיל זה נכשל בצפיפות קהל, שם אדם עלול להיעלם מאחורי אחרים לזמן מה ואז להופיע מחדש, מה שחותך את המסלול לחלקים ומוביל להחלפת זהות.

עוקב שיודע מתי הוא בטוח או לא בטוח

Sentinel מטפל בשני הבעיות על ידי התייחסות לכל מסלול כאל בעל רמת ביטחון מתפתחת משלו. מרכיב אחד במערכת, שנקרא Confidence Aware Association, בוחן כמה פעמים מסלול הותאם בהצלחה, כמה פעמים הוא נכשל לאחרונה וכמה חזקים היו הזיהויים האחרונים שלו. בהתבסס על ההיסטוריה הזו, הוא מסווג כל מסלול כבטוח, לא בטוח או בסיכון. למסלולים בטוחים, שתנועתם חזויה היטב, Sentinel נשען בעיקר על המקום שבו צפוי להיות האדם ופחות על המראה הוויזואלי. זה עוזר להימנע מערבוב בין אנשים שנראים דומים אך נמצאים במקומות שונים. למסלולים בסיכון, שייתכן ויצאו זה עתה מהסתרה או שיש להם תחזיות בלתי יציבות, המערכת עושה את ההפך: היא מרחיבה את אזור החיפוש ונוטה יותר להסתמך על המראה מאשר על המיקום שצפוי לפי מודל התנועה הפשוט.

מתן הזדמנות נוספת למסלולים שנעלמים

הרכיב השני, שנקרא Survival Boosting Mechanism, פועל כאשר מסלול בסכנת היעלמות. במקום למחוק מסלול מיד אחרי מספר פריימים חסרים קבוע, Sentinel שומר "ציון הישרדות" שגדל ככל שהמסלול נשאר ללא התאמה. ככל שהסיכון גדל, המערכת מחפשת באופן אקטיבי בין זיהויים בעלי ביטחון נמוך — אותות שהמאבחן אינו בטוח לגביהם — כדי למצוא מועמדים סבירים שעשויים להיות אותו אדם. היא מתאימה בעדינות עד כמה היא סומכת על מיקום, מראה ומגבלות תנועה פיזיקליות, מאפשרת בהדרגה שגיאות מיקום גדולות יותר תוך דרישה להתאמה עקבית במראה ותנועה ריאליסטית. כאשר זיהוי חלש אך סביר עובר את הבדיקות הללו, Sentinel מעלה זמנית את הביטחון הפנימי שלו כדי שיוכל להתחרות בזיהויים חזקים יותר בשלב ההתאמה הראשי, ובכך נותן למסלול המקורי סיכוי להימשך במקום להיחלף.

בדיקת Sentinel במבחן

המחברִים בחנו את Sentinel על שלוש מערכות מבחן תובעניות. MOT17 מקיפה סצנות רחוב מגוונות עם הולכי רגל, MOT20 מתמקדת בסיטואציות צפופות במיוחד עם הסתרות כבדות, ו-DanceTrack עוקבת אחרי רקדנים שנעים באופן לא ליניארי ובלתי צפוי ולעיתים לובשים תלבושות דומות. בכל מערכי הנתונים האלה, Sentinel שיפרה בעקביות מדדים המדגישים שמירה על זהות כל אדם לאורך זמן, כגון מדד Identification F1 ו־Higher Order Tracking Accuracy. בנוסף צומצם מספר ההחלפות זהות ושברירי המסלול לעומת מעקבים ידועים שמכTreat כל הזיהויים באופן זהה או שמסיימים מסלולים באופן פסיבי. למרות ש־Sentinel מוסיף חישוב נוסף ועלול ליצור קצת יותר חיוביים שגויים כשהוא מסתמך על זיהויים חלשים, הוא נשאר מהיר דיו לשימוש בזמן אמת ברוב התרחישים.

מה המשמעות לטכנולוגיה היומיומית

פשטות הדברים: Sentinel הופך מערכות ראייה ממוחשבת לסבלניות ומחושבות יותר. במקום לנטוש אנשים ברגע שהם קשים לצפייה או להאמין בעיוורון בכל רמז מטושטש, הוא שואל ברציפות עד כמה הוא בטוח לגבי כל מסלול ומותאם את התנהגותו בהתאם. אסטרטגיה זו משתלמת בהגדרות המאתגרות ביותר: מדרכות עמוסות, קהלים צפופים או מבצעים נעים במהירות. העבודה מרמזת שמערכות מעקב עתידיות — בין אם ברכבים, רחפנים או מצלמות — יהיו אמינות יותר אם יתייחסו לאי־וודאות כסיגנל מרכזי, וישתמשו בו כדי להחליט מתי להיזהר, מתי לחפש קשה יותר ומתי לתת לעצם כמעט אבוד הזדמנות נוספת להישאר בתחום הראייה.

ציטוט: Yang, HS., Park, SW., Sim, CB. et al. Sentinel for confidence-aware multi-object tracking. Sci Rep 16, 13571 (2026). https://doi.org/10.1038/s41598-026-43938-2

מילות מפתח: מעקב מרובה עצמים, ראייה ממוחשבת, זיהוי עצמים, טיפול בהסתרה, רציפות מסלולים