רשת מיזוג תדירות-מרחבית משליםית להסרת ערפל עם מודולים רב-קנה מידה ותשומת לב

מדוע ניקוי תמונות מוטלות ערפל חשוב

כל מי שניסה לצלם קו רוחב עיר ערפילי או כביש חסום בעשן יודע שעין הערפל יכולה להשטיח צבעים ולהמטיר פרטים. מעבר לתמונות חופשה, אובדן הבהירות פוגע גם במערכות בטיחות ברכב, במעקב סביבתי ובחישה מרחוק ממטוסים ולוויינים. מאמר זה מציע שיטה חדשה לניקוי דיגיטלי של ערפל מתמונה יחידה, במטרה לשחזר סצנות חדות ומראה טבעי יותר שיהיו שימושיות הן לאנשים והן למכונות.

ממהלכים פשוטים ללמידה מנתונים

שיטות מוקדמות להסרת ערפל התבססו על חוקי אצבע חכמים בעבודה ידנית, כמו ההנחה שלפחות בחלקים מסוימים של הסצנה יש פיקסלים כהים מאוד או שהצבעים עוקבים אחרי דפוסים מסוימים. גישות אלה יכולות להצליח במקרים פשוטים אך מתקשות כאשר התאורה, מזג האוויר או פריסת הסצנה מורכבים. עם עליית הלמידה העמוקה, חוקרים החלו לאמן רשתות נירונים ללמוד כיצד תמונות נקיות וערפליות שונות, וכך לשחזר את הגרסה הנקייה ישירות מתוך דוגמאות. עם זאת, רוב השיטות המבוססות על למידה פועלות רק במרחב התמונה הרגיל — מתאמות פיקסלים ותבניות מקומיות מבלי לנצל במלואן כיצד הערפל משנה את התמונה כאשר מסתכלים עליה כתערובת של תדרים חזותיים נמוכים וגבוהים.

מבט על הערפל בשתי דרכים שונות

המחברים מציינים שערפל לא רק מכתים תמונה באופן אחיד. כאשר ממירים את התמונה למרחב התדירות, שמפריד אזורים חלקים ורחבים ממרקמים עדינים וקדקודים, תמונות ערפליות מראות אובדן ברור של תוכן בתדרים בינוניים וגבוהים וצבירה של אנרגיה בתדרים נמוכים. במילים פשוטות, פרטים דקים כמו עלים וקצוות בניינים דוהים, בעוד הבהירות הכללית וסטיית הצבע נעשות בולטות. שיטות סטנדרטיות העובדות רק על שכנות פיקסלים מתקשות לתקן ישירות את חוסר האיזון בתדרים הזה. המאמר טוען ששיטת הסרת ערפל טובה יותר צריכה לפעול בשני המרחבים בבת אחת: בתצוגת הפיקסלים היומיומית ובמרחב התדירות המדגיש את הפרטים שאבדו.

רשת שממזגת צורות ומרקמים

כדי להביא רעיון זה לידי מימוש, המחברים מעצבים את SFC-Net, רשת נוירונים שמשלבת מידע מרחבי ותדירתי בכל שלב חשוב. בלוק השיפור התכונתי המרכזי שלה, שנקרא מודול רב-קנה מידה מרחבי-תדירתי, מפצל תכונות לכמה סניפים. סניף אחד מתמקד בתבניות רחבות באמצעות סטטיסטיקות ממוצעות, סניף שני מדגיש תגובות חזקות באמצעות ערכי מקסימום, וסניף שלישי מנתח את התמונה במרחב התדירות כדי ללכוד מרקמים ומבנים שמוחלשים בקלות על ידי ערפל. לאחר מכן סניפים אלה מתמזגים כדי שהרשת תוכל לשקול במשותף מה צריך להיות בהיר, מה צריך להיות חד והיכן צריך לשחזר פרטים עדינים, מה שמוביל לתמונות מוסרות-ערפל ברורות וריאליסטיות יותר.

תשומת לב מונחית לרמזים הכי שימושיים

מעבר לחילוץ תכונות, הרשת משתמשת במודול תשומת לב משלימה מרחבית-תדירתי כדי לקבוע אילו אזורים ואילו סוגי מידע ראויים להתרכז בהם ביותר. מודול זה בונה תחילה מפות תשומת לב נפרדות על מיקומי התמונה ועל הערוצים, ואז מעביר את התכונות המשופרות דרך המרה לתדירות, מה שמאפשר למערכת להדגיש רכיבי תדירות שרלוונטיים להסרת ערפל ולהמעיט בערכם של אלה הפחות שימושיים. שער אדפטיבי מאזנת את התרומות כך שהרשת תוכל להתאים לטפל בסצנות שונות באופן שונה — למשל לתת משקל רב יותר למרקמים עדינים ביער עלים מאשר בשמי חלקים. בלוקים שאריתיים נוספים וראש מעלה-דגימת זהירה מסייעים לשמר פרטים ולהימנע מתבניות מלאכותיות בזמן שהרשת משחזרת את התמונה הסופית הנקייה.

כמה טובה השיטה במציאות

החוקרים מאמנים ובודקים את SFC-Net על מערכי נתונים מנוסחים וממשיים של ערפל הנמצאים בשימוש נרחב. הם מעריכים את איכות התמונה באמצעות מדדים סטנדרטיים של יחס אות-רעש, דמיון מבני וציון ללא-עוגן שמעריך עד כמה תמונה נראית טבעית ללא צורך באמת-קרקע נקייה. במבחנים בתוך מבנים וחוץ, SFC-Net משתווה או עולה על שיטות מתקדמות עדכניות להסרת ערפל, ומשפר במיוחד את החדות ונאמנות הצבעים בסצנות חיצוניות. הוא גם מבצע היטב על צילומים אמיתיים ועל מאגרי בדיקה עצמאיים המדמים ערפל אמיתי, ומחקרי אבולציה מראים שכל אחד מהמושגים החדשים תורם משמעותית לביצועים הסופיים ולא רק מגדיל את גודל המודל.

נופים ברורים יותר באמצעות מיזוג חכם

במונחים פשוטים, עבודה זו מראה שניקוי תמונות ערפליות מרוויח מהסתכלות עליהן בשתי דרכים משלימות: כתמונות רגילות וכתבניות של אזורים חלקים ופרטים עדינים. על ידי בניית רשת שממזגת מבטים אלה ולומדת היכן למקד את מאמציה, המחברים משיגים תוצאות חדים וטבעיות יותר מרבים מהמערכות הקיימות. הגישה עשויה לשפר את הראות בנהיגה אוטונומית, במעקב ובתצפית סביבתית, ולהציע חלונות דיגיטליים ברורים יותר לסצנות שאחרת היו דומות ומולבנות על ידי ערפל.

ציטוט: Yan, C., Liu, G. Spatial-frequency complementary fusion network for dehazing with multi-scale and attention modules. Sci Rep 16, 16412 (2026). https://doi.org/10.1038/s41598-026-47027-2

מילות מפתח: הסרת ערפל מתמונה, למידה עמוקה, ראייה ממוחשבת, שיפור תמונה, מרחב התדירות