NSCT ve geliştirilmiş FT belirginlik tespiti tabanlı kızılötesi ve görünür görüntü kaynaştırma algoritması

Karanlıkta ve Karmaşanın İçinden Görmek

Modern kameralar dünyayı keskin ve renkli şekilde gösteriyor, ancak sis, karanlık veya parlamada—sürüş, gözetim, arama‑kurtarma veya insansız hava araçları için güvenilir görüşe en çok ihtiyaç duyduğumuz anlarda—zorlanıyorlar. Renk yerine ısıyı yakalayan kızılötesi sensörler bu zorlu koşullarda üstünlük sağlarken flu ve düşük detaylı görüntüler üretiyor. Bu makale, nihai resmin hem keskin ayrıntıları hem de zor sahnelerde bile insanları veya nesneleri belirgin şekilde vurgulayan öğeleri göstermesini sağlayacak şekilde kızılötesi ve görünür ışık görüntülerini akıllıca birleştirmenin bir yolunu sunuyor.

Neden İki Göz Birden Daha İyidir

Görünür‑ışık kameraları ince dokuları ve zengin arka planları kaydeder, fakat gece veya yoğun gölgede performansları çökebilir ve hedefler benzer renkteki çevreyle karışabilir. Kızılötesi kameralar tam tersi davranır: gündüz ya da gece sıcak cisimleri ve ısı yayan nesneleri karanlık arka plana karşı yakalar, fakat binalar, ağaçlar ve yollar gibi ince yapısal ayrıntıların çoğunu kaybederler. Bu iki tür görüntüyü birleştirmek prensipte her iki dünyanın da en iyisini verebilir. Ancak mevcut birçok kaynaştırma yöntemi ya kontrastı yıkar, nesne kenarlarını bulanıklaştırır ya da görünür‑ışık görüntüsünün faydalı detaylarını baskılayan gürültülü kızılötesi desenlerin öne çıkmasına izin verir.

Temel Fikir: Önemli Kısımları Öne Çıkar

Yazarlar kaynaştırmayı iki görüntü türü arasındaki çatışmayı çözme sorunu olarak ele alıyor. Üç tekrar eden soruna odaklanıyorlar: hangi bölgelerin gerçekten önemli olduğunu ("belirgin") tahmin etme, sıcak kızılötesi hedeflerle parlak görünür arka planlar arasındaki genel parlaklığı dengeleme ve ince dokuları korurken kızılötesi gürültüyü bastırma. Bunu ele almak için, insan görsel sistemini taklit etmeye çalışarak doğal olarak dikkat çeken bölgeleri vurgulayan popüler bir teknik olan frekans‑ayarlı belirginlik tespitini iyileştiriyorlar. Basit bir bulanıklığa güvenmek yerine, kenarları koruyarak yumuşatan ve kontrastı güçlendiren iki daha akıllı filtre çifti kullanarak ilginç kızılötesi hedeflerin daha temiz ve daha keskin bir haritasını çıkarıyorlar.

Genel Şekilleri ve İnce Detayları Ayırmak

Algoritma ana kızılötesi hedeflerin nerede olduğunu öğrendikten sonra, hem kızılötesi hem de görünür görüntüleri kaba yapıları ince detaylardan ayıran katmanlara böler; bunu Non‑Subsampled Contourlet Transform adlı matematiksel bir araçla yapar. Düşük frekanslı katmanlar gökyüzü, yollar veya duvarlar gibi geniş parlaklık desenlerini içerirken, yüksek frekanslı katmanlar kenarlar, dokular ve küçük özellikleri yakalar. Kaba katmanlar için yöntem, geliştirilmiş kızılötesi belirginlik haritası ile lokal yapıların ne kadar keskin olduğunu ölçen Laplace tabanlı bir ölçüyü bir arada kullanarak bilgiyi harmanlar. Bu, ya sıcak nesnelerin sahneyi domine ettiği ya da görünür arka planın önemli hedefleri boğduğu yıkanmış görüntülerin oluşmasını önlemeye yardımcı olur.

Dokuları Keskin Tutmak, Gürültüyü Kontrol Altında Tutmak

Yüksek frekanslı katmanlar farklı bir strateji gerektirir çünkü faydalı doku ile dikkat dağıtan gürültünün her ikisi de buralarda bulunur. Burada yöntem önce bölge bölge hangi sensörün daha güçlü lokal detay sunduğunu seçer. Ardından bu ilk tercihi, daha temiz ve daha bilgilendirici görünür‑ışık dokularına yönelen, ancak anlamlı kızılötesi desenlere yine de izin veren ağırlıklı en küçük kareler uygulamasıyla rafine eder. Sonuç, ağaç dalları, yapı kenarları ve yol çizgilerinin keskin göründüğü, ancak benekli kızılötesi artefaktların azaltıldığı bir kaynaştırılmış görüntüdür.

Daha İyi Görüntüler, Daha İyi Makine Kararları

Ekip yaklaşımlarını birkaç kamu veri kümesinde ve kendi düşük ışık görüntülerinde test etti ve yöntemi geleneksel teknikler ile modern derin öğrenme yöntemleriyle karşılaştırdı. İnsan gözlemi, kaynaştırılmış görüntülerinin özellikle loş koridorlarda, geceleri sokaklarda ve dağınık açık hava sahnelerinde daha net arka planlar, daha yüksek kontrast ve daha belirgin hedefler sunduğunu gösterdi. Bilgi içeriği, keskinlik ve kontrastın nesnel ölçümleri genelde yeni yöntemi destekledi veya metrikler arasında iyi dengelendiğini gösterdi. Kritik olarak, bu kaynaştırılmış görüntüler popüler bir nesne‑algılama sistemi (YOLOv5s) ile işlendiğinde, tespit doğruluğu, hassasiyet ve çağırma (recall) belirgin şekilde iyileşti. Basitçe söylemek gerekirse, algoritma yalnızca daha göze hoş görüntüler üretmekle kalmıyor; aynı zamanda otomatik sistemlerin insanları ve nesneleri daha güvenilir şekilde bulmasına da yardımcı oluyor. Bu da kızılötesi ve görünür görüntülerin daha akıllı bir şekilde kaynaştırılmasının otonom sürüşte daha güvenli çözümlere, daha etkili gözetime ve karanlık veya görsel olarak karmaşık ortamlarda daha güvenilir robotlara önemli katkı sağlayabileceğini düşündürüyor.

Atıf: Fan, X., Kong, F., Shi, H. et al. Infrared and visible image fusion algorithm based on NSCT and improved FT saliency detection. Sci Rep 16, 7144 (2026). https://doi.org/10.1038/s41598-026-37670-0

Anahtar kelimeler: kızılötesi-görünür kaynaştırma, görüntü belirginliği, çoklu sensör görüntüleme, gece görüşü, bilgisayarlı görme