שיטה משולבת לקידום תמונות נראה ואינפרה-אדום בקנה מידה רב

ראיית לילה חדה יותר לאנשים ולמכונות

כל מי שניסה לצלם בלילה יודע כמה מהר החושך משפיע לרעה על הפרטים: הסצנות נראות גרעיניות, מטושטשות ומלאות בצבעים מוזרים. יחד עם זאת, טכנולוגיות קריטיות רבות — מצלמות בכבישים, אבטחה ביתית, רכבים אוטונומיים וכלי טיס לחיפוש והצלה — צריכות לראות בבירור בדיוק בתנאים אלה. מאמר זה מציג שיטה חדשה לשילוב מצלמות צבע רגילות עם מצלמות אינפרה-אדום “חום”, כך שמחשבים, ולבסוף גם אנשים, יקבלו תמונה מוארת ומפורטת של העולם אפילו בחשיכה כמעט מוחלטת.

מדוע שני סוגי מצלמות עדיפים על אחת

מצלמות סטנדרטיות קולטות את אותו סוג אור שעינינו רואות, מה שהופך את תמונותיהן לנוחות לפרשנות אנושית, אך הן נכשלות כאשר התאורה דלה: צללים בולעים פרטים, מופיע רעש והצבעים משתנים. מצלמות אינפרה-אדום פועלות להיפך: הן חושות דפוסי חום, חושפות אנשים, בעלי חיים ורכבים בחושך או דרך ערפל קל, אך תמונתן חסרה מרקם עדין ומראה טבעי. חוקרים ניסו זמן רב למזג את שתי התצפיות הללו לתמונה אחת שנראית כמו צילום צבע ברור ועדיין חושפת עצמים חמים המוסתרים. שיטות קיימות, עם זאת, לעיתים מתייחסות לכל שלב — הבהרה של תמונות חשוכות, ניקוי רעש ומיזוג מידע אינפרה-אדום — כמשימות נפרדות. גישה מפורקת זו עלולה לגרום לחוסר התאמה בין מאפיינים ולתוצאות מיזוג מאכזבות.

צינור יחיד שמבהיר וממזג בו־זמנית

המחברים מציעים מערכת מקצה לקצה שמשפרת וממזגת תמונות בתוך צינור רציף אחד. היא בנויה סביב רשת נוירונים עם ארבעה חלקים עיקריים: סניף אחד לומד לנקות ולהבהיר תמונות צבע בתאורה חלשה, סניף נוסף לומד לייצג את הסצנה מהמצלמה האינפרה-אדומה, בלוק מיזוג משלב את מה שכל אחד מהסניפים למד ודקודר משחזר תמונה סופית מתוך האותות המעורבים הללו. באופן משמעותי, המערכת פועלת במספר סולמות, מצורות גסות ועד מרקמים עדינים. שכבות שטוחות שומרות על קצוות ופרטים שטחיים כמו לבנים או סימוני כביש, בעוד ששכבות עמוקות יותר תופסות מבנים רחבים יותר — בניינים, רכבים או עצים — וגם את מיקום היעדים החמים בתמונת האינפרה-אדום.

שלוש שלבי למידה במקום קפיצה אחת גדולה

במקום לאמן את כל המערכת בבת אחת, הצוות משתמש באסטרטגיית למידה בת שלבים שמטרתה יציבות ודיוק. בשלב הראשון הרשת רואה רק תמונות אור נראה חשוכות ולומדת להבהירן בלי תמונות התייחסות “מושלמות” מסופקות על ידי אדם. מרכיבי אובדן שנבחרו בקפידה מדרבנים את הפלט לקבל בהירות טבעית, צבעים יציבים, אזורים חלקים בלי רעש כתמי ושימור מרקם. בשלב השני אותו דקודר משמש שוב בעוד שסניף אינפרה-אדום חדש לומד לשחזר נאמנה תמונות אינפרה-אדום, ובכך מלמד את הרשת כיצד דפוסי חום אמורים להיראות. בשלב השלישי כל החלקים שנלמדו קופאים, ורק בלוק המיזוג מאומן כדי למזג את שתי הייצוגים לתמונה אחת איכותית — מוארת ובעשירה במידע.

ניסוי השיטה

החוקרים העריכו את הגישה שלהם על סטים ציבוריים המכילים זוגות תמונות נראה ואינפרה-אדום שצולמו בתאורה קשה, כמו רחובות בלילה. הם השוו מול כמה מהשיטות המובילות במיזוג, כולל אלה המבוססות על טרנספורמציות תמונה קלאסיות, רשתות קונבולוציה סטנדרטיות ודגמים גנרטיביים מורכבים יותר. השיטה שלהם סיפקה בדרך כלל פרטים חדים יותר, בהירות אחידה יותר ויעדים תרמיים ברורים יותר, ובאותו זמן קיבלה ציונים גבוהים יותר במדדים כמותיים של תוכן מידע, חידוד קצוות, דמיון מבני וניגוד. ניסויים נוספים, שבהם הם הסירו באופן סלקטיבי רכיבים מרכזיים של המערכת, הראו שכל חלק — בלוק המיזוג הרב-סקאלי, אימון בשלבים ומשקלות אדפטיביות של תכונות נראה לעומת אינפרה-אדום — תורם באופן מדיד לאיכות הסופית.

מה משמעות הדבר למערכות ראייה בעולם האמיתי

לפני שאינם מומחים, המסקנה פשוטה: עבודה זו מראה שרשת בודדת מאומנת בקפידה יכולה גם להבהיר סצנות חשוכות וגם למזג באופן חכם תצפיות חום וצבע לתמונה אחת קוהרנטית. התמונות הממוזגות משמרות מרקמים עדינים ובאותו זמן מדגישות עצמים חמים, מה שהופך אותן לשימושיות יותר למשימות כמו פיקוח לילה, סיוע בנהיגה ומציאות מועשרת או מדומה בסביבות חשוכות. אף על פי שהמחברים מציינים מספר בעיות שנותרו — כגון ירידה בניגודיות באזורים בהירים מאוד והצורך בדגמים מהירים וקלי משקל יותר — הגישה שלהם מהווה צעד משמעותי לעבר מערכות מצלמה שיראו באמינות בחושך, באופן שמרגיש טבעי ומובן למשתמשים אנושיים.

ציטוט: Xin, Y., Huang, J., Sun, C. et al. A multi-scale end-to-end visible and infrared image enhancement fusion method. Sci Rep 16, 7135 (2026). https://doi.org/10.1038/s41598-026-38323-y

מילות מפתח: שיפור תמונות בתאורה חלשה, מיזוג תמונות אינפרה-אדום, ראיית לילה, הדמיה מרובת חיישנים, ראייה בעזרת למידה עמוקה