רגולציה באמצעות גרעין ההיטל עבור סגמנטציה מרובת-מודאליות מבוססת דיפוזיה בחישה מרחוק

מפות חדות יותר ממעל

ערים מודרניות נצפות מלמעלה על ידי צי מטוסים ולוויינים, שאינם תופסים רק תמונות צבעוניות אלא גם מידע גובה תלת־ממדי. המרה של שפע זה של נתונים למפות מדויקות של בניינים, כבישים, עצים ומכוניות חיונית לתכנון, תגובה לאסונות וניטור סביבתי. מאמר זה מציע דרך חדשה למיזוג המבטאים השונים ולניקוי חיזויים רעשיים, ובכך מייצר מפות כיסוי-קרקע חדות ואמינות יותר מתוך תמונות אוויריות.

מדוע קשה לשלב מבטים מהשמיים

מערכות מיפוי אוויריות משלבות לעתים קרובות שני סוגי קלט עיקריים: אורטופוטוס אמיתיים, שנראים כתמונות צבע מפורטות של הקרקע, ומודלים של משטח דיגיטלי (DSM), שמתעדים את הגובה של כל נקודה. התמונות עשירות במרקם ובצבע אך עלולות להראות עיוותים בגלל צללים ופרספקטיבה. מפת הגבהים לוכדת צורות של בניינים וכיפות עצים אך יכולה להיות מושרדת או רעשנית. שיטות למידה עמוקה מסורתיות או מצרפות קלטים אלה יחדיו או ממזגות אותן באופן פשוט. כתוצאה מכך עלולות להיווצר אי־התאמות בין גיאומטריה למרקם, טשטוש גבולות בין אובייקטים ואובדן תכונות קטנות כמו מכוניות, במיוחד בסצינות עירוניות צפופות.

מניחושים רעשיים לסצנות מעודנות

המחברים בונים על מודלי דיפוזיה, משפחה של אלגוריתמים שמתחילים מניחושים רעשיים ומחדדים אותם בצעדים חוזרים עד שתתקבל תוצאה נקייה יותר. במקום לתפקד כהחלטת סגמנטציה חד־פעמית, המודל מבצע הרבה צעדים קטנים ומשפר בהדרגה את המפה של מי שייך לאיזה מחלקה. במסגרת שלהם, שנקראת PKDiff, השיפור מונחה על ידי שתי רעיונות מרכזיים: דרך חכמה יותר למיזוג מידע מצילום ומהגובה, ושיטה חדשה לוודא שהתבנית הכוללת של החיזויים תואמת את הצפוי ברחבי כל התמונה, לא רק פיקסל־אחר־פיקسل.

עזרה לשילוב תמונות וגבהים

כדי לשלב טוב יותר את היתרונות של נתוני הצילום והגובה, המודל משתמש במודול מיזוג כפול־מקודד עם קשב חוצה (Cross-Attention Dual-Encoder Fusion). ענף אחד מתמקד בצבע ובמרקם, והשני בגובה ובמבנה. בסקיילים גסים, מידע הגובה מנחה את המודל לכיוון התכנית הכללית הנכונה — איפה צריכות להיות בניינים, כבישים ופארקים. בסקיילים דקים יותר, הבדלים בגובה לאורך קצוות עוזרים להחדיד גבולות, למשל בקו גגות או בין עצים לדשא. מרכיב נטרול רעש נפרד, שנקרא Hierarchical EMA-Gated Recursive Denoising, מעביר מידע בין סולמות וזמני צעד שונים, ומחליט כמה יש לסמוך על שיפורים חדשים לעומת הערכות קודמות. זה מפחית את הסיכון שטעויות מוקדמות ימשיכו להתגבר במהלך האיטרציות של המודל.

יישור התמונה הגדולה, לא רק פיקסלים בודדים

מרבית השיטות הקיימות מאמנות את המודלים שלהן באמצעות פונקציות אובדן שמתייחסות לכל פיקסל בפני עצמו, כגון קרוס־אנטופי או שגיאת ריבועים ממוצעת. אלה יכולים לשפר דיוק מקומי אך עדיין להניב חיזויים שמאוזנים באופן סטטיסטי בכל התמונה — למשל, הערכת יתר של כבישים או הערכת חסר של צמחיה. התרומה המרכזית של עבודה זו היא רגולריזר גרעין־היטל (projection-kernel) שמודד עד כמה ההתפלגות הכוללת של המחלקות החזויות תואמת את האמיתית. הוא עושה זאת על ידי התבוננות בסיכויי המחלקות של כל פיקסל כנקודה במרחב ממדי גבוה, השלכת נקודות אלה לעבר הרבה כיוונים חד־ממדיים והשוואת האופן שבו שתי מערכות ההטלות שונות. במקום לדגום כיוונים אלה באקראי, המחברים גוזרים נוסחה סגורה אלגנטית שמאגדת בצורה יעילה הבדלים על פני כל הכיוונים, מה שהופך את המידה ליציבה ורגישה לשינויים עדינים.

גבולות חדים ומפות עקביות יותר

המחברים בודקים את שיטתهم על שני אתגרי מיפוי עירוניים ידועים מהערים הגרמניות בייכינגן (Vaihingen) ופוטסדאם (Potsdam), הכוללים תמונות ברזולוציה גבוהה מאוד ומפות גובה יחד עם תוויות קרקע אמיתיות עבור משטחים, מבנים, צמחייה, עצים, מכוניות ופריטים מיותרים. על פני מספר מדדי דיוק סטנדרטיים, PKDiff עולה על מבחר של מודלים חזקים מבוססי קונבולוציה, טרנספורמרים ומודלי דיפוזיה אחרים. הרווחים בולטים במיוחד בקטגוריות שבהן הגיאומטריה חשובה ביותר, כגון בניינים, צמחייה נמוכה ומכוניות קטנות: הגבולות חדות יותר, האובייקטים פחות מפורקים ואזורים גדולים כמו כבישים מתויגים בעקביות רבה יותר. בפשטות, על ידי מיזוג מדוקדק של מרקם וגובה ובו־זמנית אכיפת כך שהתחזיות "נראות נכונות" באגרגט, הגישה המוצעת מפיקה מפות נקיות ואמינות יותר מנתוני אוויר מורכבים.

ציטוט: Tong, X., Yang, F., Yang, Q. et al. Projection Kernel regularization for diffusion-based multimodal remote sensing segmentation. Sci Rep 16, 14385 (2026). https://doi.org/10.1038/s41598-026-44603-4

מילות מפתח: סגמנטציה בחישה מרחוק, מיזוג מולטימודאלי, מודלי דיפוזיה, מיפוי עירוני, תמונות אוויריות