Kızılötesi ve görünür görüntülerin görsel iyileştirme ve anlamsal eşleştirme ile birleştirilmesi

Gündüz ve Gece Kameralarından Daha Keskin Görüş

Modern otomobiller, insansız hava araçları ve güvenlik sistemleri sıklıkla iki tür göze sahiptir: renk ve doku gören normal bir kamera ile ısıyı algılayan bir kızılötesi kamera. Her birinin güçlü ve zayıf yönleri vardır ve bunları tek, net bir görüntüde birleştirmek şaşırtıcı derecede zordur. Bu makale, bu iki görünümü yalnızca bakması daha kolay değil, aynı zamanda bilgisayar programlarının anlamasını da kolaylaştıran tek bir görüntüde birleştirmenin yeni bir yolunu sunar.

Neden İki Göz Birden Daha İyidir

Görünür ışık kameraları yol işaretleri, bina kenarları ve giysi gibi keskin ayrıntıları yakalar, ancak geceleyin, siste veya nesneler arka plana karıştığında zorlanırlar. Kızılötesi kameralar bunun tersini yapar: karanlıkta bile insanlar ve araçlar gibi sıcak nesneleri vurgular, ancak görüntüleri genellikle bulanık ve ince detaylardan yoksundur. Bu iki görünümü “her iki dünyanın en iyisi” bir görüntüde birleştirmek, sürücü destek sistemlerinde yaya tespitinden gözetim ve arama-kurtarma görevlerine kadar pek çok işte yardımcı olabilir. Ancak mevcut birçok birleştirme yöntemi sadece yüzeysel özelliklere—kızılötesinden parlak lekeler ve görünür görüntülerin dokularına—odaklanırken, akıllı makineler için önemli olan daha derin, sahne düzeyindeki anlamı göz ardı eder.

Görüntüleri Harmanlamanın Daha Akıllı Bir Yolu

Yazarlar, birleştirmeyi basit bir bindirme olarak görmek yerine daha fazlası olarak ele alan bir derin öğrenme çerçevesi öneriyor. Önce, özellikle düşük ışıklı sahnelerde görünür görüntüyü parlaklaştıran ve dengeleyen özel bir iyileştirme adımı uygulanır, böylece değerli detaylar birleştirme başlamadan önce kaybolmaz. Ardından çift yolları olan bir ağ, hem kızılötesi hem de görünür girişleri paralel olarak işler. Bir yol kenarlar ve dokular gibi yerel desenlere yoğunlaşırken, diğeri sahnenin daha geniş bağlamına bakar. Bu yollar birleştirilerek, sistem görüntülerde olup biteni daha zengin bir içsel tanımla üretir.

Ağın Nelere Dikkat Etmesi Gerektiğini Öğretmek

Basitçe çok sayıda özellik çıkarmak yeterli değildir; ağın hangilerinin önemli olduğunu öğrenmesi gerekir. Bir “kanal–uzamsal” modül, modelin yayaları veya parlak farlar gibi kritik bölgeleri ve bilgi türlerini vurgulamasına, daha az yararlı arka plan karmaşıklığını ise geri plana atmasına yardımcı olur. Bunun üzerine kurulu ikili modlu etkileşimli bir dikkat mekanizması, kızılötesi ve görünür akışların birbirleriyle iletişim kurmasını teşvik eder. Bu mekanizma, ısı izleri ile görsel dokuların sahne boyunca nasıl hizalandığını öğrenir ve “kızılötesideki bu parlak leke, görünür görüntüdeki o kişiye karşılık geliyor” gibi daha yüksek düzeyde kavramları yakalar. Bu anlamsal eşleştirme, birleştirilmiş görüntünün yalnızca görsel olarak karıştırılmak yerine mantıksal olarak tutarlı kalmasına yardımcı olur.

Yöntemi Sınamaya Koymak

Birleştirilmiş görüntülerin yalnızca çekici değil aynı zamanda gerçeğe uygun olup olmadığını kontrol etmek için yazarlar, üretici–ayrıştırıcı ağlarda kullanılanlara benzer bir ayırt edici ağ ekler. Bu ek ağ, gerçek görünür görüntüler ile birleştirilmiş görüntüleri ayırt etmeyi öğrenir ve birleştirme sürecini hem insanlar hem de makineler için doğal görünen çıktılar üretmeye zorlar. Yöntem, gündüz ve gece yollarını ile askeri tarz sahneleri kapsayan üç zorlu kızılötesi–görünür görüntü çifti koleksiyonunda eğitilir ve test edilir. Bir dizi standart kalite ölçüsü boyunca, yeni yaklaşım genellikle on mevcut birleştirme tekniğini geride bırakarak daha keskin kenarlar, daha iyi kontrast ve daha bilgilendirici içerik sunar.

Daha Güvenli Makineler İçin Daha İyi Görüntüler

Görsel kaliteyi aşan, yazarlar pratik bir soruyu gündeme getirir: Bu birleştirilmiş görüntüler bilgisayarların daha iyi kararlar vermesine yardımcı oluyor mu? Yaygın bir nesne algılama sistemi kullanarak yayaları bulma denemesinde, birleştirilmiş görüntülerinin tek sensör görüntülerine ve önceki birleştirme yöntemlerine kıyasla tespit doğruluğunu artırdığı gösterilir. Günlük terimlerle, teknik özellikle gece sürüşü gibi zor koşullarda hem insanlar hem de algoritmalar için yorumlaması daha kolay görüntüler yaratır. Sistem hâlâ kaynak kısıtlı cihazlarda gerçek zamanlı kullanım için ayarlama gerektirse de, otomatik araçlar, gözetim ve en kritik anlarda net görmesi gereken diğer teknolojiler için daha güvenilir ve daha güvenli bir görüşe doğru umut verici bir adım sunar.

Atıf: Yang, Y., Li, Y., Li, J. et al. Infrared and visible image fusion via visual enhancement and semantic coupling. Sci Rep 16, 5666 (2026). https://doi.org/10.1038/s41598-026-35763-4

Anahtar kelimeler: görüntü birleştirme, kızılötesi görüntüleme, az ışıkta görüş, derin öğrenme, nesne algılama