רשת מיזוג מידע שולי בין שלבים לזיהוי עצמים קטנים בתמונות אוויריות

מדוע חשוב לגלות פרטים זעירים מהשמיים

מתוך ניטור תנועה ותגובת חירום ועד טיפול בגידולים חקלאיים, יותר ויותר מהעולם שלנו נצפה מלמעלה על ידי רחפנים. עם זאת, רבים מהדברים שמעניינים אותנו בתמונות אוויריות — אנשים, רכבים או בעלי חיים — מופיעים כבסה מהפיקסלים. מאמר זה מציג מערכת ראייה ממוחשבת חדשה, CEIFNet, שתוכננה במיוחד כדי למצוא עצמים זעירים אלה בצורה מדויקת ומהירה יותר, גם כאשר הם מוקפים ברחובות עירוניים צפופים, שדות או רעשי לילה.

לראות דברים קטנים בתמונה רחבה

מערכות זיהוי עצמים סטנדרטיות נבנו בעיקר עבור צילומים בגובה הקרקע, שבהם רכב או אדם ממלאים בדרך כלל חלק ניכר ממסגרת התמונה. בתמונות רחפנים, עם זאת, המצלמה עלולה להיות במאות מטרים גובה, כך שכל מטרה היא זעירה ונתונה לטשטוש או לאובדן כאשר התמונה מצומצמת בתוך רשת נוירונים. המחברים מסבירים שמאתרי-בפעם אחת פופולריים כמו משפחת YOLO עובדים היטב בסצנות יום-יומיות אך מתקשים כאשר העצמים גם זעירים וגם משתנים מאוד בגודלם. דגירה חוזרת של הדגימה למטה, שנועדה להבין את הסצנה כולה, נוטה למחוק את האיתותים החלשים של היעדים הקטנים הללו.

שילוב ראייה מקרוב עם הקשר גדול-תמונה

כדי להתמודד עם זאת, CEIFNet משלב שתי דרכי ראייה משלימות. מסלול אחד משתמש במסנני קונבולוציה קלאסיים, המתאימים ללכידת דפוסים מקומיים חדים כמו פינות ומרקמים. המסלול השני משתמש במנגנון תשומת-לב בסגנון Transformer, שמצטיין בקישור מקטעים מרוחקים בתמונה ובהבנת הסצנה בכללותה. בתוך בלוק הבניין המרכזי, שנקרא בלוק טרנספורמר חוצה-שלבים, תכונות התמונה הנכנסות מתחלקות: רוב הערוצים עוברים דרך מסלול קונבולוציה קל משקל, בעוד שחלק קטן עובר דרך מסלול תשומת-לב שמסיק קשרים לטווח ארוך. אלה משולבים מחדש, ותורמים לרשת גם פרטים דקים וגם מודעות גלובלית מבלי לפוצץ את עלות המחשוב שלה.

שימוש בקצוות כמפה ליעדים קטנים

תובנה מרכזית של המאמר היא שהגבולות של עצמים — הקצוות — מועילים במיוחד כאשר היעדים הם רק כמה פיקסלים ברוחב. במקום להסתמך אך ורק על מסננים שנלמדים, המחברים מזינים בכוונה מידע קצותי לתוך הרשת. מודול ייעודי מיישם תחילה את אופרטור סובל, מגלה קווי מתאר פשוט אך עמיד, כדי להדגיש היכן השינוי הבהירות חד, כמו סביב קווי המתאר של רכבים או אנשים. מפות הקצוות הללו מאוחסנות בגודלים שונים כדי להתאים לסולמות תכונה שונים וממוזגות דרך מודול חוצה-ערוצים. ככל שהתמונה זורמת לעומק הרשת, רמזי הקצה המושחזים הללו מוזנים שוב ושוב לשכבות מאוחרות יותר, ועוזרים למודל לעקוב היכן עצמים קטנים מתחילים ומסתיימים למרות הטשטוש וההצטמצמות הרגילים.

הסתגלות לגודל, למיקום ולמורכבות הסצנה

ביציאה, CEIFNet משתמש בראש זיהוי דינמי שיכול להתאים את התנהגותו בהתאם למה שהוא רואה. במקום להשתמש במסננים קבועים, שלב סופי זה מיישם שלושה סוגי תשומת-לב בבת אחת: הוא יכול להעדיף גדלים מסוימים של עצמים, להתמקד במיקומים המבטיחים ביותר בתמונה ולהדגיש את ערוצי התכונה המידעיים ביותר. יחד עם מבנה פירמידת תכונות ששומר על שכבה נוספת עדינה במיוחד, זה עושה את המערכת רספונסיבית יותר כלפי יעדים זעירים וצפופים בצילומי רחפן ריאליסטיים — מקשרים צפופים ועד חניונים עסוקים וסצינות תרמיות אינפרא-אדומות בלילה.

הוכחת רווחים בתרחישים אמיתיים של רחפנים

החוקרים בחנו את CEIFNet בשני מאגרי נתונים תובעניים של רחפנים: VisDrone2019, הכולל סצנות עירוניות ופרבריות באור יום, ו-HIT-UAV, אוסף תרמי אינפרא-אדום שבו רבים מהיעדים עמומים וקטנים. בשניהם, המערכת החדשה זיהתה עצמים בצורה מדויקת יותר מאשר בסיס חזק מבוסס YOLO וממגוון גלאים מודרניים אחרים, ועדיין רצה במהירות מספקת לשימוש בזמן אמת על כרטיס גרפי חזק. ניסויי אבלקציה קפדניים הראו שכל חלק — הבלוק ההיברידי, מודול הקצה, השכבה העדינה הנוספת והראש הדינמי — תרם לשיפור הכולל.

מה זה אומר לטכנולוגיה היומיומית

לעיני הקורא הלא-מומחה, המסקנה היא ש-CEIFNet מציעה דרך חכמה יותר לרחפנים "להבחין בדברים הקטנים" בסצנות גדולות ומורכבות. על ידי שמירה על מידע קצותי, שילוב פרטים מקומיים עם הקשר גלובלי והסתגלות תשומת הלב באופן דינמי, הרשת יכולה לזהות עצמים קטנים שמערכות אחרות מפספסות או ממקמות בצורה שגויה. זה הופך את הניטור האווירי למהימן יותר למשימות כמו בטיחות תנועה, חיפוש והצלה וחקלאות מדויקת, ומצביע על מערכות עתידיות שיכולות להפיק מידע אמין מתצפיות גבוהות ורחבות יותר של עולמנו.

ציטוט: Xiao, J., Li, C., Chen, H. et al. Cross-stage edge information fusion network for small object detection in aerial images. Sci Rep 16, 7639 (2026). https://doi.org/10.1038/s41598-026-36251-5

מילות מפתח: זיהוי עצמים אוויריים, עצמים קטנים, דימות רחפנים, חזון מבוסס קצוות, למידה עמוקה