Frekans düşük-rank artırımıyla olumsuz hava koşullarına genel uygulanabilirliğe sahip semantik segmentasyon için RFGLNet

Hava Kötüleştiğinde Yolu Görmek

Otonom arabalar ve dağıtım robotları daha güvenli, daha verimli sokaklar vaat ediyor — ancak çevrelerini güvenilir şekilde “görebildikleri” sürece. Yağmur, sis, kar ve karanlık gece görüşü son derece zorlaştırır; kontrastı yıkar, gürültü lekeleri ekler ve insan, araç ya da kaldırımların kenarlarını bulanıklaştırır. Bu makale, hava koşulları en kötü olduğunda bile makinelerin yol bilgisini keskin tutmayı amaçlayan yeni bir bilgisayarlı görü sistemi olan RFGLNet’i tanıtır.

Neden Kötü Hava Makineleri Körleştirir

Günümüzün sürücüsüz sistemleri sıklıkla semantik segmentasyon adı verilen bir sürece dayanır; bu süreçte algoritma bir görüntüdeki her piksele yol, araç, yaya veya bina gibi bir sınıf atar. Açık gündüz ışığında modern sinir ağları bunu oldukça iyi yapar. Ancak yoğun yağmur veya sık sis altında görüntüler parlaklığını kaybeder, gürültü kazanır ve nesneler arasındaki sınırlar bulanıklaşır. Her olumsuz hava koşulu için devasa veri kümeleri toplamak ve etiketlemek maliyet açısından elverişsizdir, bu yüzden çoğu sistem çoğunlukla normal, güneşli görüntüler üzerinde eğitilir. Görülmemiş fırtına veya kar ile karşılaştıklarında performans hızla düşer. Önceki çözümler ya görüntüleri önce temizlemeyi sonra segmentlemeyi denedi ya da modelleri belirli hedef koşullara uyarladı. Her iki yaklaşım da kırılgan, yavaş veya kötü hava verilerine aşırı bağımlı olma eğilimindedir.

Zorlu Koşullar İçin İnşa Edilmiş Yeni Bir Ağ

RFGLNet bu sorunu farklı bir stratejiyle ele alır: yalnızca standart gündüz şehir sahnelerinden öğrenir, buna rağmen geniş bir sert koşul yelpazesine genelleşir. Yazarlar, zengin sahne yapısını yakalamasıyla bilinen önceden eğitilmiş büyük bir görsel model olan DINOv2’den başlar. Bu ağır omurgayı sıfırdan yeniden eğitmek yerine parametrelerini dondurur ve üstüne hafif bir modül seti eklerler. Bu modüller, omurganın iç gösterimlerini kar taneleri, yağmur damlaları veya karanlıktan kaynaklanan görsel karışıklık tarafından daha az şaşıracak şekilde yeniden şekillendiren akıllı adaptörler gibi davranır. Sonuç, tipik görsel modellerle karşılaştırıldığında çok küçük olan yalnızca 4,32 milyon eğitilebilir parametre kullanan bir sistemdir — buna rağmen eğitim sırasında hiç görmediği hava koşullarını ele almayı öğrenir.

Ağın Hava Filtrelemeyi Nasıl Öğrendiği

RFGLNet’in ilk yeniliği, dondurulmuş omurganın her katmanına takılan düşük-ranklı bir modüldür. Eğitim öncesinde bu modül, simüle edilmiş bir özellik matrisi üzerinde tekil değer ayrışımı (singular value decomposition) adı verilen matematiksel bir prosedür çalıştırır. Bu, modüle başlangıçtan itibaren DINOv2’nin iç özelliklerinin yapısına kabaca uyan kompakt bileşenler sağlar; rastgele gürültüden başlamaz. Eğitim sırasında bu bileşenler ayarlanır ve modül omurganın temel bilgisini bozmayacak şekilde yeni görev için özellikleri nazikçe düzeltir. Ağ daha sonra özellikleri frekans alanına taşıyan Fourier tabanlı bir dikkat bloğu uygular. Orada, geniş, yavaş değişen yapılar anlamlı nesneleri temsil etme eğilimindeyken, keskin, düzensiz desenler genellikle hava gürültüsüne karşılık gelir. Yüksek frekanslı karmaşayı bastırıp daha düzgün bileşenleri güçlendirerek sistem, girişimleri azaltırken küresel sahne anlayışını kuvvetlendirir.

Dikkati Dağıtmadan Ayrıntıları Keskinleştirmek

Daha temiz küresel özelliklere rağmen, şerit işaretleri, çit korkulukları ve uzaktaki bir yayanın silueti gibi küçük ayrıntılar kötü havada bulanıklığa karşı hâlâ savunmasızdır. Bunu ele almak için yazarlar, ağın kod çözücü (decoder) kısmında gruplanmış uzamsal dikkat modülü tanıtır. Tüm özellik kanallarını birlikte ele almak yerine bunları gruplara ayırır ve her grup için ayrı uzamsal ağırlık haritaları öğrenir. Kenarlar gibi önemli yapı taşıyan kanallar vurgulanabilirken, gürültü tarafından baskın olan kanallar zayıflatılabilir. Bu grup-özgü haritalar, çoklu çözünürlüklerde ince detayları geliştiren ve nesne sınırlarını keskinleştiren küresel bir uzamsal ağırlamaya birleştirilir. Etkide RFGLNet, nerelere yakından bakılacağını ve sis veya yağmur lekelerini görmezden gelmesi gerektiğini öğrenir.

Zorlu Yol Sahnelerinde Gerçek Dünya Kazancı

Yaklaşımını test etmek için araştırmacılar RFGLNet’i açık gündüz kentsel sahnelerinin iyi bilinen Cityscapes veri kümesi üzerinde eğitti, ardından yağmur, kar, sis ve gece sürüşüne odaklanan ACDC veri kümesi üzerinde değerlendirdi. Eğitim sırasında ACDC etiketlerini hiç görmeden RFGLNet ortalama intersection over union (IoU) değerini yüzde 78,3 olarak elde etti — bu, çoğu daha büyük ve daha hesaplama yoğun bazı önde gelen alan-genelleştirme ve adaptasyon yöntemlerini geride bıraktı. Özellikle duvarlar ve çitler gibi kötü havada kenarları kolayca kaybolan zor sınıfları segmentlemede güçlüydü. Aynı zamanda model, tek bir tüketici sınıfı GPU üzerinde verimli şekilde çalışarak saniyede onlarca görüntüyü işledi; bu, gerçek zamanlı sürüş sistemleri için kilit bir gerekliliktir.

Daha Güvenli Otonomi İçin Daha Net Görüş

Uzman olmayanlar için çıkarım şudur: RFGLNet, mevcut görsel omurgaları her olası fırtına için sonsuz yeniden eğitime ihtiyaç duymadan nasıl yükseltebileceğimizi gösterir. Kompak düşük-ranklı ayarlama, frekans tabanlı gürültü filtresi ve gruplanmış uzamsal dikkat kombinasyonu sayesinde sistem, hava ile ilişkili karmaşayı süpürürken temel sahne yapısını korumayı öğrenir. Bu tür yöntemler olgunlaşıp daha geniş gerçek dünya koşulları koleksiyonları üzerinde eğitildikçe, gökyüzü karardığında ve önündeki yol hiç de net olmadığında kendi kendine giden arabaların ve robotların güvenilir durumsal farkındalığı sürdürmesine yardımcı olabilirler.

Atıf: Ye, X., Shi, X. & Li, Y. RFGLNet for adverse weather domain-generalized semantic segmentation with frequency low-rank enhancement. Sci Rep 16, 8253 (2026). https://doi.org/10.1038/s41598-026-39052-y

Anahtar kelimeler: otonom sürüş, olumsuz hava algısı, semantik segmentasyon, bilgisayarlı görü dayanıklılığı, alan genelleştirme