خوارزمية دمج الصور تحت الحمراء والمرئية استنادًا إلى NSCT وكشف البروز FT المحسّن

الرؤية في الظلام وعبر الفوضى

توفر الكاميرات الحديثة رؤى حادة وملونة للعالم، لكنها تواجه صعوبات في الضباب أو الظلام أو الوهج—تمامًا عندما نحتاج إلى رؤية موثوقة للقيادة أو المراقبة أو البحث والإنقاذ أو الطائرات بدون طيار. تتفوق المستشعرات تحت الحمراء، التي تلتقط الحرارة بدلًا من اللون، في هذه الظروف القاسية لكنها تنتج صورًا ضبابية قليلة التفاصيل. تعرض هذه الورقة طريقة لدمج صور تحت الحمراء والضوء المرئي بشكل ذكي بحيث تُظهر الصورة النهائية تفاصيل واضحة مع إبراز الأشخاص أو الأجسام بوضوح، حتى في المشاهد الصعبة.

لماذا العينان أفضل من عين واحدة

تسجل كاميرات الضوء المرئي نُسقًا دقيقة وخلفيات غنية، لكن أداؤها ينهار ليلًا أو في الظلال الكثيفة، وقد تمتزج الأهداف مع محيطها ذو الألوان المماثلة. تفعل كاميرات الأشعة تحت الحمراء العكس: تلتقط الأجسام الدافئة والمصادر المُصدرة للحرارة مقابل خلفيات مظلمة، ليلاً أو نهارًا، لكنها تفقد الكثير من البنية الدقيقة للمباني والأشجار والطرق. يمكن لدمج هذين النوعين من الصور في صورة واحدة أن يوفر، من حيث المبدأ، أفضل ما في العالمين. مع ذلك، تقوم العديد من طرق الدمج الحالية إما بتخفيض التباين، أو تمويه حواف الأجسام، أو ترك أنماط الضوضاء تحت الحمراء تطغى على التفاصيل المفيدة من صورة الضوء المرئي.

الفكرة الأساسية: دع الأجزاء المهمة تبرز

يتعامل المؤلفون مع الدمج كمشكلة حل صراع بين نوعي الصور. يركزون على ثلاث مشكلات متكررة: تخمين المناطق المهمة حقًا ("البارزة"), موازنة السطوع العام بين الأهداف الحارة في الأشعة تحت الحمراء والخلفيات الساطعة في المرئي، والحفاظ على القوام الدقيق مع قمع ضوضاء الأشعة تحت الحمراء. لمعالجة ذلك، يُحسّنون تقنية شائعة تسمى كشف البروز الموجي‑المصحح (frequency‑tuned saliency detection)، التي تحاول محاكاة الجهاز البصري البشري من خلال إبراز المناطق التي تجذب انتباهنا طبيعيًا. بدلًا من الاعتماد على تمويه بسيط، يستخدمون زوجًا من المرشحات الأذكى—واحد يعمل على التنعيم مع الحفاظ على الحواف، وآخر يعزّز التباين—لرسم خريطة أنظف وأكثر حدة للمناطق التي تحتوي على أهداف تحت حمراء مثيرة للاهتمام.

تفكيك الأشكال الخشنة والتفاصيل الدقيقة

بمجرد أن يعرف الخوارزم مكان الأهداف الأساسية في الأشعة تحت الحمراء، يفصل كلا الصورتين، تحت الحمراء والمرئية، إلى طبقات تفصل البُنى الخشنة عن التفاصيل الدقيقة باستخدام أداة رياضية تسمى تحويل الكونتوريه غير المأخوذ عينات (Non‑Subsampled Contourlet Transform). تحتوي الطبقات منخفضة التردد على أنماط سطوع عريضة، مثل السماء أو الطرق أو الجدران، بينما تلتقط الطبقات عالية التردد الحواف والقوام والميزات الصغيرة. بالنسبة للطبقات الخشنة، تدمج الطريقة المعلومات باستخدام كل من خريطة البروز المحسّنة للأشعة تحت الحمراء وقياس قائم على لابلاسيان لحدّة البنى المحلية. يساعد ذلك على تجنّب الصور المموهة حيث تطغى الأجسام الدافئة على المشهد أو تغمر الخلفية المرئية الأهداف المهمة.

الحفاظ على حدة القوام، والسيطرة على الضوضاء

تتطلب الطبقات عالية التردد استراتيجية مختلفة، لأنها المكان الذي تتعايش فيه القوام المفيد والضوضاء المشتتة. هنا تختار الطريقة أولًا، منطقة بمنطقة، أي مستشعر يقدم تفاصيل محلية أقوى. ثم تُنقّح هذا الاختيار الابتدائي بإجراء المربعات الصغرى الموزونة الذي يميل نحو القوام المرئي الأنظف والأكثر معلوماتية مع السماح بمرور أنماط الأشعة تحت الحمراء المهمة. النتيجة صورة مدمجة تبدو فيها فروع الأشجار وحواف المباني وعلامات الطرق حادة، بينما تقلّ الآثار النقطية المزعجة للأشعة تحت الحمراء.

صور أفضل، وقرارات آلية أفضل

اختبر الفريق نهجهم على عدة مجموعات بيانات عامة وصورهم الخاصة منخفضة الإضاءة، وقارنوها بتقنيات تقليدية وطرائق حديثة للتعلم العميق. أظهرت الفحوصات البشرية أن صور الدمج لديهم كانت بخلفيات أوضح، وتباين أعلى، وأهداف أوضح، خصوصًا في الممرات المظلمة والشوارع الليلية والمشاهد الخارجية المزدحمة. أفضت مقاييس موضوعية لمحتوى المعلومات والحدة والتباين إلى تفضيل الطريقة الجديدة أو إظهار أنها متوازنة جيدًا عبر المقاييس. والأهم، عندما أُدخلت هذه الصور المدمجة إلى نظام كشف الأجسام الشائع (YOLOv5s)، تحسّنت دقة الاكتشاف والدقّة والاسترجاع بشكل ملحوظ. بعبارة بسيطة، لا تجعل الخوارزمية الصور تبدو أجمل فحسب؛ بل تساعد أيضًا الأنظمة الآلية على العثور على الأشخاص والأجسام بمزيد من الاعتمادية. وهذا يشير إلى أن دمجًا أذكى للصور تحت الحمراء والمرئية قد يلعب دورًا رئيسيًا في قيادة ذاتية أكثر أمانًا، ومراقبة أكثر فعالية، وروبوتات أكثر موثوقية تعمل في الظلام أو في بيئات بصرية معقدة.

الاستشهاد: Fan, X., Kong, F., Shi, H. et al. Infrared and visible image fusion algorithm based on NSCT and improved FT saliency detection. Sci Rep 16, 7144 (2026). https://doi.org/10.1038/s41598-026-37670-0

الكلمات المفتاحية: الدمج تحت الحمراء والمرئي, بروز الصورة, التصوير متعدد المستشعرات, الرؤية الليلية, رؤية الحاسوب