RFGLNet לסגמנטציה סמנטית כלל-דומיין בתנאי מזג אוויר קשים עם שיפור מדרגה נמוכה בתדר

לראות את הדרך כשהמזג אוויר מסתבך

מכוניות אוטונומיות ורובוטי משלוחים מבטיחים רחובות בטוחים ויעילים יותר — בתנאי שיוכלו "לראות" את הסביבה בצורה אמינה. גשם, ערפל, שלג ולילות חשוכים מקשים מאוד על הראייה הזו: הם מוחקים ניגודיות, מוסיפים נקודות רעש וממטשטשים קווי מתאר של אנשים, מכוניות ומדרכות. המאמר מציג את RFGLNet, מערכת ראייה ממוחשבת חדשה שתוכננה לשמור על הבנת הדרך של המכונה חדה אפילו כשהמזג אוויר רע במיוחד.

למה מזג אוויר רע מעוור מכונות

המערכות הנהוגות כיום לנהיגה עצמית מסתמכות לעתים קרובות על תהליך שנקרא סגמנטציה סמנטית, שבו אלגוריתם מייחס לכל פיקסל בתמונה מחלקה — כמו כביש, רכב, הולך רגל או בניין. באור יום בהיר, רשתות נוירונים מודרניות מבצעות זאת היטב. תחת גשם כבד או ערפל צפוף, עם זאת, התמונות מאבדות בהירות, צוברות רעש ומתפתחים גבולות מעורפלים בין עצמים. איסוף ותיאול מערכי נתונים עצומים לכל תנאי מזג אוויר קשה הוא יקר במיוחד, ולכן רוב המערכות מאומנות בעיקר על תמונות יומיומיות ושמשיות. כאשר הן נתקלו בסופות או בשלג שלא נראו בעבר, הביצועים צונחים במהירות. תיקונים מוקדמים ניסו או לנקות את התמונות לפני הסגמנטציה, או להתאים מודלים לתנאי יעד מסוימים. שתי הגישות האלה נוטות להיות שבירות, איטיות או תלויות יותר מדי בנתוני מזג אוויר מתויגים.

רשת חדשה שנבנתה לתנאים קשים

RFGLNet נוקטת באסטרטגיה שונה: היא לומדת רק מסצנות עירוניות יומיומיות סטנדרטיות, אך מתכללת לטווח רחב של תנאים קשים. המחברים מתחילים מ-DINOv2, מודל חזותי גדול שאומן מראש ומוכר ביכולתו ללכוד מבנה עשיר של סצנות. במקום לאמן מחדש את השלד הכבד הזה מאפס, הם מקפיאים את הפרמטרים שלו ומוסיפים מעליו סט מודולים קל-משקל. מודולים אלה פועלים כאדפטורים חכמים, מעצבים מחדש את הייצוגים הפנימיים של השלד כך שיהיו פחות מבולבלים על ידי ערבוב ויזואלי שנגרם מפיסות שלג, טיפות גשם או חשכה. התוצאה היא מערכת המשתמשת רק ב-4.32 מיליון פרמטרים ניתנים לאימון — זניח ביחס למודלים חזותיים טיפוסיים — ועדיין לומדת להתמודד עם מזג אוויר שמעולם לא נראתה במהלך האימון.

כיצד הרשת לומדת לסנן את מזג האוויר

החידוש הראשון של RFGLNet הוא מודול מדרגה נמוכה שמתחבר לכל שכבה בשלד המקפיא. לפני האימון, מודול זה מבצע הליך מתמטי המוכר בפירוק ערכי סינגולר (SVD) על מטריצת תכונות מדומה. זה מספק לו סט של רכיבים דחוסים שתואמים במידה רבה למבנה התכונות הפנימיות של DINOv2 מההתחלה, במקום להיתמך על רעש אקראי. במהלך האימון, רכיבים אלה מותאמים בעדינות, מה שמאפשר למודול לתקן בעדינות את תכונות השלד למשימה החדשה מבלי להפריע לידע הליבת של המודל. לאחר מכן הרשת מיישמת בלוק תשומת לב מבוסס פורייה שמעביר את התכונות לתחום התדירות. שם, מבנים רחבים והדרגתיים נוטים לייצג אובייקטים משמעותיים, בעוד שתבניות חדות ובלתי-מנוסחות לעתים קרובות משויכות לרעשי מזג אוויר. על ידי דיכוי הפרעות בתדר גבוה והגברת הרכיבים החלקים יותר, המערכת מחזקת הבנה גלובלית של הסצנה תוך הקטנת הרעשים ההפרעתיים.

חידוד פרטים מבלי להסיח את הדעת

אפילו עם תכונות גלובליות נקיות יותר, פרטים זעירים כגון סימוני נתיבים, סורגים של גדרות וקווי המתאר של הולך רגל מרוחק נותרו פגיעים לטשטוש במזג אוויר קשה. כדי להתמודד עם זאת, המחברים מציגים מודול תשומת לב מרחבי מקובץ בחלק הדקוד של הרשת. במקום להתייחס לכל ערוצי התכונה יחד, הוא מחלק אותם לקבוצות ולומד מפות משקל מרחביות נפרדות עבור כל קבוצה. ערוצים שנושאים מבנה חשוב, כגון קצוות, יכולים אז להיות מודגשים, בעוד שערוצים הנשלטים ברובם על ידי רעש מדוכאים. מפות ספציפיות לקבוצה אלו מתמזגות למשקל מרחבי גלובלי שמעצים פרטים עדינים ומחדד גבולות אובייקטים ברזולוציות מרובות. למעשה, RFGLNet לומדת היכן להסתכל בקירוב והיכן להתעלם מטיפות ערפל או גשם מסיחות דעת.

תוצאה בעולם האמיתי בסצנות דרכים מאתגרות

כדי לבדוק את הגישה שלהם, החוקרים אימנו את RFGLNet על מאגר הנתונים המוכר Cityscapes של סצנות עירוניות יומיות ברורות, ולאחר מכן העריכו אותו על מאגר ACDC, המתמקד בנהיגה בגשם, שלג, ערפל ולילה. מבלי לראות מעולם תוויות של ACDC במהלך האימון, RFGLNet השיג מדד IoU ממוצע של 78.3 אחוז — תוך שהוא עולה על מספר שיטות מובילות להתכללות דומיין ולהתאמה, שרבות מהן גדולות וצורכות משאבים חישוביים רבים יותר. המודל היה חזק במיוחד בסגמנטציה של מחלקות קשות כמו קירות וגדרות, שהקצוות שלהן קלים לאבד במזג אוויר קשה. במקביל, המודל רץ ביעילות על GPU לצרכן בודד, מעבד עשרות תמונות בשנייה — דרישת מפתח למערכות נהיגה בזמן אמת.

ראייה ברורה יותר להגנה על אוטונומיה בטוחה

עבור לא-מומחים, המסקנה היא ש-RFGLNet ממחיש איך לשדרג שלדי ראייה קיימים עבור אוטונומיה בטוחה ללא אימונים חוזרים אינסופיים על כל סופת אפשרית. על ידי שילוב כוונון מדרגה נמוכה קומפקטי, סינון רעש מבוסס תדירות ותשומת לב מרחבית מקובצת, המערכת לומדת לשמור על מבנה הסצנה החיוני תוך החלשת העומס שנגרם על ידי מזג אוויר. ככל ששיטות כאלה יתפתחו ויאומנו על אוספים רחבים יותר של תנאים מהעולם האמיתי, הן יכולות לעזור למכוניות ורובוטים לשמור על מודעות סיטואציונית אמינה כשהשמיים מתחשכים והדרך לפניו אינה ברורה כלל.

ציטוט: Ye, X., Shi, X. & Li, Y. RFGLNet for adverse weather domain-generalized semantic segmentation with frequency low-rank enhancement. Sci Rep 16, 8253 (2026). https://doi.org/10.1038/s41598-026-39052-y

מילות מפתח: נהיגה אוטונומית, תפיסת מזג אוויר קשה, סגמנטציה סמנטית, חוסן בראייה ממוחשבת, הכלת דומיין