Çok ölçekli ve dikkat modülleriyle sis giderme için uzaysal-frekans tamamlayıcı füzyon ağı

Sisli fotoğrafları temizlemenin önemi

Sisli bir şehir silüetini veya dumanlı bir otoyolu fotoğraflamaya çalışmış olanlar, sisin renkleri nasıl soldurduğunu ve ayrıntıları nasıl bulanıklaştırdığını bilir. Tatil karelerinin ötesinde, bu netlik kaybı otomobillerdeki güvenlik sistemlerini, çevresel izlemeyi ve uçak veya uydu görüntülerinden yapılan uzaktan algılamayı da etkiler. Bu makale, tek bir görüntüden dijital olarak sisi temizlemenin yeni bir yolunu sunuyor; amaç, hem insanlar hem de makineler için daha faydalı, keskin ve doğal görünümlü sahneleri geri kazanmaktır.

Basit hilelerden veriden öğrenmeye

İlk sis giderme yöntemleri, sahnenin bazı bölgelerinde çok koyu pikseller bulunduğunu veya renklerin belirli desenleri izlediğini varsayan akıllı el yapımı kurallar gibi püf noktalarına dayanıyordu. Bu yaklaşımlar basit durumlarda iyi çalışabilir ancak aydınlatma, hava veya sahne düzeni karmaşıklaştığında zorlanır. Derin öğrenmenin yükselmesiyle birlikte araştırmacılar, sinir ağlarını temiz ve sisli görüntüler arasındaki farkı öğrenmek üzere eğitmeye başladı; böylece temiz sürümü örneklerden doğrudan geri çıkarabiliyorlar. Ancak bu öğrenmeye dayalı yöntemlerin çoğu yalnızca düzenli görüntü uzayında çalışır, pikselleri ve yerel desenleri ayarlarken sisin görüntüyü düşük ve yüksek görsel frekansların karışımı olarak nasıl değiştirdiğini tam olarak kullanmaz.

Sisi iki farklı bakışla görmek

Yazarlar, sisin görüntüyü yalnızca eşit şekilde karartmadığını vurguluyor. Görüntü frekans uzayına dönüştürüldüğünde —geniş pürüzsüz alanları ince dokulardan ve kenarlardan ayıran— sisli görüntülerde orta ve yüksek frekans bileşenlerinin belirgin bir kaybı ve düşük frekans enerjisinde bir birikim görülür. Basitçe söylemek gerekirse, yapraklar ve bina kenarları gibi ince ayrıntılar solarken, genel parlaklık ve renk tonu hakim hale gelir. Sadece piksel komşuluklarında çalışan standart yöntemler bu frekans dengesizliğini doğrudan düzeltemez. Makale, daha iyi bir sis giderme sisteminin aynı anda her iki uzayda da çalışması gerektiğini savunuyor: sıradan piksel görünümü ve kaybolan ayrıntıları öne çıkaran frekans görünümü.

Şekilleri ve dokuları birleştiren bir ağ

Bu fikri hayata geçirmek için yazarlar, her önemli aşamada uzaysal ve frekans bilgilerini birleştiren SFC-Net adlı bir sinir ağı tasarlıyor. Çekirdek özellik geliştirme bloğu olan uzaysal-frekans çok-ölçekli modül, özellikleri birkaç dala ayırır. Bir dal ortalama istatistikleri kullanarak geniş desenlere odaklanır, başka bir dal maksimum değerlerle güçlü yanıtları vurgular ve üçüncü bir dal doku ve yapı yakalamak için görüntüyü frekans uzayında analiz eder; bu tür bileşenler sis tarafından kolayca zayıflatılır. Bu dallar daha sonra birleştirilir, böylece ağ neyin parlak olması gerektiğini, neyin keskin olması gerektiğini ve nerede ince ayrıntının geri getirilmesi gerektiğini birlikte değerlendirebilir; bu da daha net ve daha gerçekçi sis giderilmiş görüntülerle sonuçlanır.

En yararlı ipuçlarına rehberli dikkat

Özellik çıkarmanın ötesinde, ağ hangi bölgelerin ve hangi bilgi türlerinin en fazla dikkati hak ettiğine karar vermek için uzaysal-frekans tamamlayıcı dikkat modülünü kullanır. Bu modül önce görüntü konumları üzerinde ve kanallar üzerinde ayrı dikkat haritaları oluşturur, ardından bu geliştirilmiş özellikleri bir frekans dönüşümünden geçirir; böylece sistem sis giderme için önemli frekans bileşenlerini vurgularken daha az faydalı olanları geri plana atabilir. Uyarlanabilir bir kapı bu katkıları dengeleyerek ağın farklı sahnelere farklı davranmasını sağlar; örneğin yapraklı bir ormanda ince dokulara, düz bir gökyüzüne göre daha fazla ağırlık verebilir. Ek rezidüel bloklar ve dikkatli bir yukarı örnekleme başlığı, ağ son temiz görüntüyü yeniden oluştururken ayrıntıların korunmasına ve yapay desenlerin önlenmesine yardımcı olur.

Yöntemin pratikte ne kadar iyi çalıştığı

Araştırmacılar SFC-Net’i yaygın kullanılan sentetik ve gerçek dünya sis veri kümeleri üzerinde eğitip test ediyor. Görüntü kalitesini sinyal-gürültü oranı, yapısal benzerlik ve temiz bir yer gerçeğine ihtiyaç duymadan bir görüntünün ne kadar doğal göründüğünü tahmin eden referanssız bir skor gibi standart ölçütlerle değerlendiriyorlar. İç ve dış mekan test setleri genelinde SFC-Net, özellikle dış mekan sahnelerinde keskinlik ve renk doğruluğunu iyileştirerek, son gelişmiş sis giderme yöntemleriyle eşleşiyor veya onları aşıyor. Gerçek fotoğraflarda ve gerçek sisi simüle eden bağımsız kıyas setlerinde de güçlü performans sergiliyor ve ayrıştırma (ablation) çalışmaları yeni modüllerin yalnızca model boyutunu artırmaktan öte nihai performansa anlamlı katkıda bulunduğunu gösteriyor.

Daha akıllı füzyonla daha net görüşler

Günlük ifadeyle, bu çalışma sisli görüntüleri temizlemenin onları iki tamamlayıcı şekilde incelemekten fayda sağladığını gösteriyor: sıradan resimler olarak ve pürüzsüz bölgelerle ince ayrıntıların desenleri olarak. Bu görüşleri birleştiren ve nerede odaklanacağını öğrenen bir ağ kurarak yazarlar, birçok mevcut sistemden daha keskin, daha doğal görünen sonuçlara ulaşıyor. Yaklaşım, otonom sürüş, gözetim ve çevresel gözlem için görünürlüğü artırmaya yardımcı olabilir; sis tarafından aksi takdirde soluk ve yıkanmış sahnelere daha net dijital pencereler sunar.

Atıf: Yan, C., Liu, G. Spatial-frequency complementary fusion network for dehazing with multi-scale and attention modules. Sci Rep 16, 16412 (2026). https://doi.org/10.1038/s41598-026-47027-2

Anahtar kelimeler: görüntü sis giderme, derin öğrenme, bilgisayarlı görü, görüntü iyileştirme, frekans alanı