WMambaFuse: dalga paketi mamba tabanlı bir kızılötesi ve görünür görüntü füzyon ağı

Dengeli Gece Görüşü Gürültülü Bir Dünyaya

Kameralar aynı sahneyi normal ışıkta ve kızılötesinde görüntülediğinde her bakış farklı gerçekleri açığa çıkar: biri net ayrıntı ve renk gösterirken, diğeri karanlıkta ısıyı ve gizli nesneleri vurgular. Bu makale, bu iki perspektifi tek, daha net bir görüntüde birleştiren yeni bir bilgisayarlı görme yöntemi olan WMambaFuse’u tanıtıyor. Amaç basit ama güçlü: her iki tür görüntünün en iyi yanlarını birleştirerek insanlara ve makinelere gece, kötü hava ve karmaşık ortamlarda daha güvenilir görme olanağı sağlamak.

Neden İki Göz Birden Daha İyidir

Görünür ışık kameraları ince dokuları, keskin kenarları ve doğal renkleri yakalar, ancak az ışık, sis veya parlamada başarısız olurlar. Kızılötesi kameralar tam tersini yapar: ısıyı algılar ve karanlıkta insanları, araçları veya ekipmanları ortaya çıkarabilir, ancak görüntüleri sıklıkla bulanık ve ayrıntıdan yoksundur. Bu iki kaynağın füzyonu her iki dünyanın en iyisini vaat eder, ancak dengelemek zordur. Birçok önceki sistem ya görüntü düzlemi üzerinde piksel düzeyinde karıştırmaya odaklanır ya da görüntüleri kaba şekillere ve ince desenlere ayıran frekans alanında çalışır. Pratikte sadece tek bir alanda kalan yaklaşımlar ya küresel yapıyı ya da hassas detayları feda etme eğilimindedir; bu da kenar kayıplarına, yıkanmış dokulara veya karmaşık sahnelerde kararsız sonuçlara yol açar.

Daha Fazlasını Görmek İçin Üç Parçalı Bir Motor

WMambaFuse bu zorluğu dikkatle katmanlanmış bir tasarımla ele alır: bir kodlayıcı, bir füzyon modülü ve bir çözümleyici. Kodlayıcı, sahneyi çok ölçekli şekilde görebilmek için modern bir "pencereli" dönüştürücü (transformer) kullanarak hem yakın dokuyu hem de daha geniş bağlamı yakalar. Bunu, her giriş görüntüsünün önemli özelliklerini el yazısı kurallara ihtiyaç duymadan nasıl temsilleneceğini öğrenen akıllı bir ön yüz olarak düşünebilirsiniz. Çözümleyici ise yineleyici bir yapı kullanarak nihai füzyonlanmış görüntüyü yeniden inşa eder; bu, özelliklerin ölçekler arasında tutarlı kalmasına yardımcı olur ve bilginin ağ boyunca akarken ayrıntıların kaybolmasını önler. Bu iki parça birlikte görsel bilgiyi hazırlayan ve yeniden inşa eden son derece eğitimli bir göz ve beyin gibi çalışır.

Aynı Anda Mekân ve Ayrıntıyı Harmanlamak

Temel yenilik, "şeylerin nerede olduğu" ile "ne kadar ayrıntılı oldukları"nı açıkça ayıran füzyon modülünde yatıyor. Mekânsal dikkat modülü adını taşıyan bir şube, görüntü özelliklerine doğrudan bakar ve kızılötesi ile görünür girişlerin hangi bölgelerinin daha fazla vurguyu hak ettiğine karar verir. Parlayıcı termal hedefleri, örneğin insanları veya araçları öne çıkarmayı öğrenirken, görünür görüntüden gelen ince dokuları da korumayı başarır. İkinci şube ise frekans alanında çalışır; görüntü özelliklerini düzgün bir temel katmana ve yatay, dikey ve diyagonal yönlerdeki birkaç kenar ve doku katmanına böler. Burada yeni bir Dalga-Paket (Wavelet)-Mamba mekanizması, bu yönlü detay bantlarını uzun menzilli desenleri verimli bir şekilde izleyebilen sadeleştirilmiş bir durum-uzayı modelinden geçirir; bu, önemli kenarları güçlendirirken görüntüyü gürültüyle boğmaz.

Yöntemi Sınamaya Koymak

Bu tasarımın gerçekten yardımcı olup olmadığını değerlendirmek için yazarlar kodlayıcı-çözümleyiciyi geniş, genel amaçlı bir görüntü kümesi üzerinde eğitti ve ardından füzyon modülünü eşleştirilmiş kızılötesi–görünür sahneler üzerinde eğitti. WMambaFuse’u askeri sahneler, yollar ve gündelik ortamları kapsayan üç kamu kıyas setinde test ettiler ve klasik otomatik kodlayıcılar, konvolüsyonel ağlar, dönüştürücüler ve önceki Mamba tarzı modeller dahil dokuz önde gelen füzyon yöntemiyle karşılaştırdılar. Genel bilgi, kontrast, kenar keskinliği ve kaynaklara yapısal benzerlik gibi geniş bir ölçüt yelpazesinde yeni yöntem tutarlı şekilde rakipleriyle eşleşti veya onları geride bıraktı. Görsel örnekler daha net hatlar, daha parlak ve daha eksiksiz termal hedefler ve zorlu gece ve düşük ışık koşullarında bile daha iyi korunmuş arka plan dokuları gösteriyor.

Gerçek Dünya Görevleri İçin Daha Net Füzyonlanmış Görüntüler

Basitçe söylemek gerekirse, WMambaFuse ne zaman ısı desenlerine, ne zaman görünür ayrıntıya güvenileceğini öğrenir ve bunu hem görüntü düzleminde hem de kenarları ve dokuları kodlayan gizli frekans katmanlarında yapar. Sonuç, insanların yorumlaması daha kolay ve hedef tespiti veya izleme gibi sonraki görevler için daha güvenilir tek bir füzyonlanmış görüntüdür. Yazarlar aşırı koşulların—örneğin yoğun sis veya şiddetli yağmur gibi—hala açık sorular barındırdığını not etseler de deneyleri, modern durum-uzayı modellemesiyle desteklenen bu mekânsal–frekans tasarımının karanlıkta net görmesi gereken makineler için sağlam bir ilerleme sunduğunu gösteriyor.

Atıf: Wang, J., Si, Y., Chen, Y. et al. WMambaFuse: an infrared and visible image fusion network based on wavelet mamba. Sci Rep 16, 14113 (2026). https://doi.org/10.1038/s41598-026-44374-y

Anahtar kelimeler: kızılötesi görünür füzyon, gece görüş görüntüleme, dalga paketi tabanlı görüntü füzyonu, durum uzayı görme modelleri, çok modlu bilgisayarlı görme