طريقة دمج وتعزيز صور مرئية وتحت حمراء شاملة ومتعددة المقاييس

رؤية ليلية أوضح للبشر والآلات

أي شخص حاول التقاط صورة ليلية يعرف مدى سرعة الظلام في إتلاف التفاصيل: المشاهد تبدو محببة ومموهة ومليئة بألوان غريبة. ومع ذلك، العديد من التقنيات الحرجة—من كاميرات الطرق والمراقبة المنزلية إلى السيارات ذاتية القيادة والطائرات المسيرة الإنقاذية—تحتاج إلى رؤية واضحة بالضبط في هذه الظروف. تعرض هذه الورقة طريقة جديدة لدمج كاميرات الألوان العادية مع كاميرات تحت حمراء "حرارية" بحيث يمكن لأجهزة الكمبيوتر، وفي النهاية للبشر، الحصول على صور زاهية ومفصلة للعالم حتى في الظلام شبه الكامل.

لماذا نوعان من الكاميرات أفضل من واحد

تلتقط الكاميرات العادية نفس نوع الضوء الذي تراه أعيننا، مما يجعل صورها سهلة الفهم للبشر، لكنها تفشل بشدة عندما يكون الضوء نادراً: الظلال تلتهم التفاصيل، يظهر الضوضاء، وتتحول الألوان. تقوم كاميرات تحت الحمراء بالعكس: فهي تلتقط نمط الحرارة، كاشفة عن أشخاص وحيوانات ومركبات في الظلام أو عبر ضباب خفيف، لكن صورها تفتقر إلى النسيج الدقيق والمظهر الطبيعي. حاول الباحثون منذ زمن طويل دمج هذين المنظورين في صورة واحدة تبدو كصورة ملونة واضحة مع إبراز الأجسام الدافئة المخفية. ومع ذلك، كثيراً ما تتعامل الأساليب الحالية مع كل خطوة—تفتيح الصور المظلمة، تنظيف الضوضاء، ودمج معلومات تحت الحمراء—كمهام منفصلة. هذا النهج المجزأ يمكن أن يسبب ميزات غير متطابقة ونتائج دمج مخيبة.

خط أنابيب واحد يضيء ويدمج في الوقت نفسه

يقترح المؤلفون نظاماً شاملاً من طرف إلى طرف يعزز الصور ويدمجها في خط أنابيب واحد مستمر. يقوم على شبكة عصبية بأربعة أجزاء رئيسية: فرع واحد يتعلم تنظيف الصور الملونة منخفضة الإضاءة وتفتيحها، فرع آخر يتعلم تمثيل المشهد من كاميرا تحت الحمراء، وكتلة دمج تجمع ما تعلمه كل فرع، ومفكك يعيد بناء صورة نهائية من هذه الإشارات المختلطة. والأهم أن النظام يعمل على مقاييس متعددة، من الأشكال الخشنة وصولاً إلى النسيج الدقيق. تحافظ الطبقات السطحية على الحواف وتفاصيل السطح مثل الطوب أو علامات الطريق، بينما تلتقط الطبقات الأعمق الهياكل الأوسع—المباني، السيارات، أو الأشجار—ومواقع الأهداف الدافئة في صورة تحت الحمراء.

ثلاث مراحل تعلم بدلاً من قفزة واحدة كبيرة

بدلاً من تدريب النظام بأكمله دفعة واحدة، يستخدم الفريق استراتيجية تعلم من ثلاث مراحل مصممة للاستقرار والدقة. في المرحلة الأولى، ترى الشبكة صور الضوء المرئي المظلم فقط وتتعلم تفتيحها دون أي صور مرجعية "مثالية" موفرة من البشر. مصطلحات خسارة مختارة بعناية تدفع المخرج ليحصل على سطوع طبيعي، ألوان مستقرة، مناطق ناعمة دون بقع ضوضاء، ونسيج محفوظ. في المرحلة الثانية، يُعاد استخدام نفس المفكك بينما يتعلم فرع تحت الحمراء الجديد إعادة بناء صور تحت الحمراء بأمانة، مما يعلم الشبكة كيف يجب أن تبدو أنماط الحرارة. في المرحلة الثالثة، تُجمَّد كل تلك الأجزاء المتعلمة، ولا يُدرَّب سوى كتلة الدمج لتمزج التمثيلين في صورة واحدة عالية الجودة تكون زاهية وغنية بالمعلومات في آن واحد.

اختبار المنهج

قيّم الباحثون منهجهم على مجموعات بيانات عامة تحتوي على صور مرئية وتحت حمراء مزدوجة التوافق مأخوذة تحت إضاءة صعبة، مثل شوارع ليلية. قارنوا الطريقة بعدة تقنيات دمج رائدة، بما في ذلك تلك المعتمدة على تحويلات صور كلاسيكية، وشبكات التفاف قياسية، ونماذج توليدية أكثر تعقيداً. قدمت طريقتهم عموماً تفاصيل أكثر حدة، سطوعاً أكثر انتظاماً، وأهداف حرارية أوضح، بينما سجلت أيضاً نقاطاً أعلى في مقاييس كمية لمحتوى المعلومات، حدة الحواف، التشابه البنيوي، والتباين. أظهرت تجارب إضافية، أزالوا فيها انتقائياً مكونات رئيسية للنظام، أن كل جزء—كتلة الدمج متعددة المقاييس، التدريب المرحلي، والوزن التكيفي لميزات المرئي مقابل تحت الحمراء—يساهم بشكل قابل للقياس في الجودة النهائية.

ما الذي يعنيه هذا لأنظمة الرؤية في العالم الحقيقي

بالنسبة لغير المتخصصين، الخلاصة بسيطة: تُظهر هذه الدراسة أن شبكة واحدة مُدرَّبة بعناية قادرة على تفتيح المشاهد المظلمة ودمج مشاهد الحرارة واللون بذكاء في صورة متماسكة واحدة. تحافظ الصور المدمجة على النسيج الدقيق بينما تبرز الأجسام الدافئة، مما يجعلها أكثر فائدة لمهام مثل المراقبة الليلية، ومساعدة القيادة، والواقع المعزز أو الافتراضي في البيئات الخافتة. وعلى الرغم من أن المؤلفين يشيرون إلى بعض المشكلات المتبقية—مثل انخفاض التباين في المناطق الساطعة جداً والحاجة إلى نماذج أسرع وأخف—إلا أن نهجهم يمثل خطوة مهمة نحو أنظمة كاميرا ترى بثبات في الظلام بطريقة تبدو طبيعية ومفهومة لمستخدمي البشر.

الاستشهاد: Xin, Y., Huang, J., Sun, C. et al. A multi-scale end-to-end visible and infrared image enhancement fusion method. Sci Rep 16, 7135 (2026). https://doi.org/10.1038/s41598-026-38323-y

الكلمات المفتاحية: تعزيز الصور منخفضة الإضاءة, دمج صور تحت حمراء, رؤية ليلية, تصوير متعدد المستشعرات, رؤية التعلم العميق