גישור בין מודלים מתמטיים ובינה מלאכותית לזיהוי קורדינטות תלת‑ממד של עצמים נעים ללא מדידות התייחסות ותנוחה חיצוניות

מדוע מעקב אחר עצמים נעים בתלת־ממד חשוב

מרחפנים במרחב האווירי העירוני ועד חיות בר בשמיים מרוחקים — משימות מודרניות רבות תלויות בידיעה היכן נמצאים עצמים נעים בתלת־ממד. כיום זה נעשה בדרך כלל באמצעות מקלטי לווין יקרים או כלי מדידה מכוילים בקפידה. המחקר הזה מציג דרך לעקוב אחר עצם מעופף בתלת־ממד באמצעות כמה מצלמות רגילות ואלגוריתמים חכמים בלבד, מה שפותח אפשרות למערכות מעקב זולות וגמישות יותר.

לראות תנועה במקום למדוד חומרה

כלי מיקום תלת־ממדיים מסורתיים נחלקים לשתי קבוצות. מערכות פעילות, כמו ניווט לווייני או חיישנים על המטוס, דורשות שהעצם הנעקב ישא ציוד, ולא תמיד זה אפשרי עבור מטרות לא ידועות או לא משתפות פעולה. מערכות פסיביות, כמו סורקי לייזר או מכ"מ, לא נוגעות במטרה אך תלויות בציוד יקר או בסמנים להתייחסות כדי לדעת לאן החיישנים מכוונים. המחברים נוקטים בגישה שונה. במקום למדוד את הזווית והסיבוב המדויקים של כל מצלמה מראש, הם שמים לב לכך שמסלולו של עצם נעים, המתועד כרצף מיקומים לאורך זמן, יכול לשמש כהתייחסות טבעית. אם מספר מצלמות צופות באותו עצם במהלך הטיסה, הצורה המשותפת של המסלול מקשרת בין המבטיהן.

להפוך מבטי מצלמה דו־ממדיים למסלול תלת־ממדי משותף

הצוות בונה מסגרת בת שני שלבים המשלבת בינה מלאכותית עם גיאומטריה קלאסית. ראשית, גלאי מבוסס בינה מלאכותית ממשפחת ה‑You Only Look Once (YOLOv12) סורק כל פריים בסרטון וסימון הרחפן בתיבה פשוטה, ממנה נלקחות קורדינטות הפיקסלים שלו. במקום לטפל בכל פריים בנפרד, המחברים מרחיבים את המודל לגרסה מודעת זמן הנקראת YOLO Time Series. על ידי צפייה באופן שבו הרחפן נע מפריים לפריים ושימוש במהירות הטיפוסית שלו, גרסה זו משלימה תצפיות חסרות וסורקת החוצה מתחזים כמו ציפורים או חרקים. הנתיבים הארוכים והמנוקים של נקודות דו־ממד משלוש מצלמות הופכים לחומר הגלם לשחזור המסלול התלת־ממדי.

לאפשר למתמטיקה לשחזר תנוחות מצלמה נסתרות

בשלב השני, המחברים מיישמים כלי מתמטי קומפקטי הידוע בשם פירוק ערכים סינגולריים (singular value decomposition) כדי לקשר את מבטי המצלמות השונות. במהלך תקופת אצווה התחלתית נאספים מאות פריימים. הנתיבים הדו־ממדיים המשותפים בין זוג מצלמות מגלים כיצד מצלמות אלה מסובבות ומוזזות זו ביחס לזו, אף על פי שכיווניהן מעולם לא נמדדו. עם פריסת היחס הזו ביד, המערכת משתמשת בכללים גיאומטריים פשוטים כדי לטריאנגלציה את מיקומו התלת־ממדי של הרחפן בכל רגע במערכת הקורדינטות של מצלמה ייחוס אחת. בידיעה רק היכן המצלמות ממוקמות על הקרקע בתוך מסגרת התייחסות גלובלית, שיטה זו מקשרת את המסלול המקומי התלת־ממדי למפה בקנה מידה עולמי, כך שניתן לבטא את תנועת הרחפן במרחקים ובשיאים אמיתיים.

בדיקות במרחב מדומה ועל רחפן אמיתי

כדי לבדוק את גבולות הרעיון, החוקרים החלו בהרצות סימולציה מפורטות של רחפן הטס במסלול ספירלי מעל שלוש מצלמות קבועות. בניסויים אידיאליים אלה, המסגרת שלהם משחזרת את הקורדינטות התלת־ממדיות עם שגיאות של רק כמה מילימטרים, וניסויים נוספים מראים כיצד טעויות במיקום המצלמה או בגילוי פיקסלים מפחיתות בהדרגה את הדיוק. גם כאשר מטמיעים ליקויים כאלה, השגיאות נשארות צנועות עבור מרווחי מצלמה ואיכות תמונה טיפוסיים. הצוות אז מבצע ניסוי שדה באצטדיון ספורט, ועוקב אחרי רחפן אמיתי בנפח של 100 על 100 על 30 מטר באמצעות שלוש טלפונים חכמים רגילים. בהשוואה למסלול המשוחזר של מקלט לווין על הרחפן, הם מדווחים על שגיאה ממוצעת של כ‑5 מטרים והתאמה גבוהה בין הצורות של שני המסלולים, גם בתנאי גשם ואור נמוך.

מה המשמעות למעקב תלת־ממדי יומיומי

באופן פשוט, עבודה זו מראה שאפשר להפוך כמה מצלמות זולות למ lokalizator תלת־ממדי בזמן אמת לעצמים נעים בלי להצמיד מכשירי דיוק למצלמות או למטרה. על ידי כך שהתנועה של העצם תקשר בין המבטיים, ובשילוב זיהוי מבוסס למידה עם נוסחאות מתמטיות קומפקטיות, המסגרת מספקת מיקומים תלת־ממדיים מהירים ובעלי דיוק סביר עם חומרה מוגבלת. למרות שהודגמה על רחפן יחיד, אותם עקרונות יכולים להרחיב לאובייקטים מעופפים אחרים או אפילו מטרות יבשתיות, ולהציע דרכים חדשות לצפות בעולם המשתנה באמצעות כלים פשוטים יותר.

ציטוט: Yi, J., Shang, Kk. & Small, M. Bridging mathematical modeling and AI for 3D coordinate recognition of moving objects without external reference and attitude measurement. Commun Eng 5, 89 (2026). https://doi.org/10.1038/s44172-026-00648-x

מילות מפתח: מעקב תלת־ממדי, ניטור רחפנים, ראייה ממוחשבת, מערכת רב־מצלמות, מיקום גאודטי