אלגוריתם מיזוג תמונות אינפרא‑אדום ונראות המבוסס על NSCT וזיהוי סלנטיות FT משופר

לראות בחשכה ובתוך העמימות

מצלמות מודרניות מספקות לנו תצוגות חדות וצבעוניות של העולם, אך הן מתקשות בערפל, בחשכה או מול סנוור — בדיוק ברגעים שבהם אנו זקוקים לראייה надежית לנהיגה, מעקב, מבצעים של חיפוש‑והצלה או לכלי‑טיס בלתי מאוישים. חיישני אינפרא‑אדום, הקולטים חום במקום צבע, מצטיינים בתנאים קשים אלה אך מפיקים תמונות מטושטשות ודלות בפרטים עדינים. מאמר זה מציג שיטה לשילוב חכם של תמונות אינפרא‑אדום ותמונות באור נראה כך שהתמונה הסופית מציגה גם פרטים חדים וגם דגש ברור על אנשים או עצמים, אפילו בסצנות קשות.

למה שתי עיניים טובות יותר מאחת

מצלמות האור הנראה רושמות מרקמים עדינים ורקעים עשירים, אך ביצועיהן קורסים בלילה או בצל כבד, ומטרות יכולות להיטמע בסביבתן בצבע דומה. מצלמות האינפרא‑אדום עושות את ההיפך: הן מזהות גופים חמים ועצמים מפיצי חום על רקע חשוך, יום וליל, אך מאבדות הרבה מהמבנה העדין של בניינים, עצים וכבישים. איחוד של שני סוגי התמונות הללו לתמונה אחת יכול, בעקרון, לספק את הטוב משני העולמות. עם זאת, שיטות מיזוג רבות קיימות או מטשטשות קונטרסט, מטשטשות קצוות עצמים, או מאפשרות לתבניות רעש אינפרא‑אדום להאפיל על הפרטים המועילים מתצלום האור הנראה.

הרעיון המרכזי: לתת לחלקים החשובים לבלוט

המחברים מתייחסים למיזוג כבעיה של פתרון קונפליקטים בין שני סוגי התמונות. הם מתמקדים בשלושה אתגרים חוזרים: להעריך אילו אזורים באמת חשובים ("סלנטיים"), לאזן את הבהירות הכוללת בין מטרות אינפרא‑אדום חמות ורקעים בהירים בנראות, ולשמר מרקמים עדינים תוך הדחקת רעש אינפרא‑אדום. כדי להתמודד עם זאת הם משפרים טכניקה פופולרית בשם זיהוי סלנטיות מותאם‑תדירות, המנסה לחקות את מערכת הראייה האנושית על‑ידי הדגשת אזורים שיכולים לתפוס את תשומת ליבנו. במקום להסתמך על טשטוש פשוט, הם משתמשים בזוג מסננים חכמים — אחד שמחליק תוך שמירה על קצוות, ואחר המחזק קונטרסט — כדי לשרטט מפה נקייה וחדה יותר של היכן נמצאים מטרות האינפרא‑אדום המעניינות.

לפצח צורות גסות ופירוטים עדינים

לאחר שהאלגוריתם מזהה היכן שוכנים מטרות האינפרא‑אדום המרכזיות, הוא מפרק הן את תמונת האינפרא‑אדום והן את תמונת האור הנראה לשכבות המפרידות מבנים גסים מפרטים עדינים באמצעות כלי מתמטי הנקרא Non‑Subsampled Contourlet Transform (NSCT). השכבות בתדרים נמוכים מכילות דפוסי בהירות רחבים, כגון שמים, כבישים או קירות, בעוד שהשכבות בתדרים גבוהים קולטות קצוות, מרקמים ותכונות קטנות. עבור השכבות הגסות, השיטה מערבבת מידע תוך שימוש גם במפת הסלנטיות האינפרא‑אדום המשופרת וגם במדד מבוסס לפלסיאן (Laplacian) של חוסר חידוד מקומי. זה מסייע להימנע מתמונות נשטפות שבהן גופים חמים משתלטים על הסצנה או הרקע הנראה מטשטש מטרות חשובות.

שימור מרקמים חדים, שליטה ברעש

השכבות בתדרים גבוהים מצריכות אסטרטגיה שונה, כי שם נמצאים גם מרקמים מועילים וגם רעש מסיח. בשלב זה השיטה בוחרת, אזור אחרי אזור, את החיישן המספק פרטי מקומיים חזקים יותר. לאחר מכן היא מחדדת את הבחירה הראשונית באמצעות תהליך ריבועי משוקלל (weighted least‑squares) שנוטה לכיוון המרקמים הנקיים והמועילים של תמונת האור הנראה, תוך שהוא עדיין מאפשר לתבניות משמעותיות של האינפרא‑אדום לעבור. התוצאה היא תמונה ממוזגת שבה ענפי עצים, קצוות בניינים וסימוני כביש נראים חדים, אך ארטיפקטים מפוזרים של אינפרא‑אדום מצטמצמים.

תמונות טובות יותר, החלטות מכונתיות טובות יותר

הצוות בדק את הגישה שלהם על מספר מאגרי נתונים ציבוריים ועל תמונות בתאורה נמוכה משלהם, והשווה אותה לטכניקות מסורתיות ושיטות למידה עמוקה מודרניות. בירור אנושי הראה שהתמונות הממוזגות שלהם הציגו רקעים ברורים יותר, קונטרסט גבוה יותר ומטרות בולטות יותר, במיוחד במסדרונות עמומים, רחובות בלילה וסצנות חיצוניות עמוסות. מדדים אובייקטיביים של תוכן מידע, חדות וקונטרסט העדיפו בדרך כלל את השיטה החדשה או הראו שהיא מאוזנת היטב על פני המדדים. החשוב מכל, כאשר תמונות ממוזגות אלה הוזנו למערכת זיהוי עצמים פופולרית (YOLOv5s), דיוק הזיהוי, הפריסיזיה והזכירה השתפרו בצורה ניכרת. במילים פשוטות, האלגוריתם לא רק מייצר תמונות אטרקטיביות יותר; הוא גם מסייע למערכות אוטומטיות למצוא אנשים ועצמים בצורה אמינה יותר. זה מצביע על כך שמיזוג חכם של דימות אינפרא‑אדום ונראה יכול לשחק תפקיד מרכזי בנהיגה אוטונומית בטוחה יותר, במערכות מעקב יעילות יותר וברובוטים אמינים הפועלים בחשכה או בסביבות חזותיות מורכבות.

ציטוט: Fan, X., Kong, F., Shi, H. et al. Infrared and visible image fusion algorithm based on NSCT and improved FT saliency detection. Sci Rep 16, 7144 (2026). https://doi.org/10.1038/s41598-026-37670-0

מילות מפתח: מיזוג אינפרא‑אדום‑נראות, סלנטיות תמונה, דימות רב‑חושי, ראיית לילה, ראיית מחשב