Çok Modlu Uzaktan Algılama Görüntülerinin Alan Uyumunda Hiyerarşik Öz-denetimli Kontrastif Öğrenmenin Uygulanması

Dünyayı Farklı Gözlerle Görmek

Hava durumu uyduları, radar görevleri ve uzaydaki yüksek çözünürlüklü kameralar aynı gezegene çok farklı açılardan bakar. Bu çeşitlilik, sellerin izlenmesi, şehirlerin haritalanması veya ormanların takibi gibi görevler için bir güçtür—eğer görüntüleri güvenilir şekilde hizalayabiliyorsak. Burada özetlenen makale, bilgisayarlara Dünya’nın bu çok farklı görünümlerini daha doğru ve çok daha az insan etiketlemesiyle eşleştirmeyi öğreten yeni bir yapay zeka yöntemi sunuyor; bu da daha hızlı ve daha sağlam çevresel izlemeye kapı aralıyor.

Farklı Görüntüleri Eşleştirmek Neden Bu Kadar Zor

Uzaktan algılama görüntüleri birçok sensörden gelir: gözlerimiz gibi gören optik kameralar, yüzey pürüzlülüğünü ölçen radar sistemleri ve ince renk farklarını yakalayan çok bantlı cihazlar. Her sensörün kendine özgü bir “görüş” biçimi olduğundan aynı bina, gemi veya tarla bir görüntüde tamamen farklı görünebilir—radarda grenli, optikte keskin veya çok bantlı görüntülerde alışılmadık renklere sahip. Geleneksel eşleştirme yöntemleri ya elle tasarlanmış görsel özelliklere ya da büyük miktarda titizlikle etiketlenmiş veri gerektiren tam denetimli derin öğrenmeye dayanır. Her iki yaklaşım da sensörler arasındaki görünüm farkı büyük olduğunda ya da etiketli örnekler kıt olduğunda—örneğin afetlerde veya uzak bölgelerde—başarısız olma eğilimindedir.

Bilgisayarlara Karşılaştırmayı Öğretmenin Katmanlı Bir Yolu

Yazarlar, Hiyerarşik Öz‑Denetimli Kontrastif Öğrenme (HSSCL) adı verilen ve bir sinir ağının görüntüleri karşılaştırmayı öğrenme biçimini değiştiren bir yöntem öneriyor. Her görüntünün yalnızca tek bir özetine bakmak yerine ağ, üç düzeyde bilgi çıkarıyor: kenarlar ve dokular gibi ince ayrıntılar, yollar ve bina konturları gibi orta ölçekli desenler ve şehir düzenleri veya arazi örtüsü türleri gibi geniş ölçekli desenler. Her düzeyde sistem, aynı alanı betimleyen farklı sensörlerden gelen özelliklerin birbirine daha benzer olmasını teşvik ederken, ilgisiz alanlardan gelen özellikleri birbirinden uzaklaştırıyor. Bu “kontrastif” eğitim insan etiketleri olmadan gerçekleşiyor: model, aynı konum üzerindeki farklı sensörlü görüntülerin bilinen eşleşmelerini ve otomatik olarak bulunan benzer örnekleri kullanarak modlar arası “aynı yer”in neye benzediğine dair zengin bir anlayış inşa ediyor.

Gürültüyü Temizleme ve Geometriyi Korumak

Gerçek dünyadaki uzaktan algılama verileri dağınık olabilir—radar görüntüleri lekeleme gürültüsü içerir, optik görüntüler puslu olabilir ve tüm görüntüler birkaç piksel kaymış olabilir. HSSCL bunu, görüntüleri önce küçük bloklara bölerek ve ağın rastgele dalgalanmalar yerine anlamlı yapıya odaklanmasını sağlayan özel gürültü giderme uygulayarak çözüyor. Ardından farklı bloklardan çıkarılan özellikleri, her bölgeyi bir düğüm olarak ele alan ve birbirine yakın ve benzer görünen bölgeleri bağlayan grafik tabanlı bir modüle besliyor. Bu grafik üzerinde çalışan özelleşmiş bir grafik sinir ağı, eşleştirmelerin geometrik tutarlılığını güçlendiriyor; zor koşullarda bile yolların yollarla ve binaların binalarla hizalanma olasılığını artırıyor.

Veri Setleri ve Koşullar Arası Uyarlama

Yöntemin tek bir kıyasın ötesinde çalıştığından emin olmak için yazarlar öğrenme düzenlerini bir alan‑uyarlama modeline yerleştiriyor. Bu bileşen, farklı sensörlerin ve veri setlerinin özelliklerinin istatistiksel özellikleri arasındaki farkı açıkça daraltıyor, böylece bir bölgede veya cihazda eğitilmiş bir model başka bir bölgeye veya cihaza uygulanırken doğruluk kaybı en aza iniyor. Küresel çok bantlı görüntüler, yüksek çözünürlüklü radar‑optik çiftleri, arazi örtüsü sahneleri ve gemi görüntülerini içeren dört kamuya açık veri setinde test edilen yeni yaklaşım, birkaç gelişmiş temel yöntemi geride bırakıyor. Doğruluk, geri çağırma ve F1‑skorunu yaklaşık 20 puan artırıyor, eşleştirmeyi %20’den fazla hızlandırıyor ve zaman içindeki değişiklikleri izlemek için önemli olan video tarzı hata tespit doğruluğunu %40’tan fazla yükseltiyor. Yöntem ayrıca gürültüye ve eğitim ile konuşlandırma koşulları arasındaki kaymalara karşı daha güçlü bir dayanıklılık gösteriyor.

Gerçek Dünya İzlemesi İçin Anlamı

Halkın perspektifinden bakıldığında çalışma, insan gözleri için hiçbir şekilde benzemeyen görüntüler arasında bilgisayarların “burası aynı yer” olduğunu nasıl öğrenebileceğini gösteriyor. Birden fazla ayrıntı düzeyinde öğrenerek, gürültüyü temizleyerek ve yeni sensörlere ve bölgelere açıkça uyum sağlayarak HSSCL yöntemi, birçok uydu veri akışını tutarlı bir resimde birleştirmeyi kolaylaştırıyor. Bu ise, örneğin bir fırtınanın ardından radar ve optik görüntüleri acil müdahale ekiplerinin daha hızlı hizalamasına, planlamacıların yıllar içinde şehirlerin veya ormanların nasıl değiştiğini takip etmesine ve denizde sürekli gemi takibine yardımcı olabilir. Yazarlar aşırı gürültü ve çok büyük bozulmaların hâlâ zorluklar oluşturduğunu not etse de, çalışmaları yörüngedeki birçok göze ilişkin daha hızlı ve daha güvenilir eşleştirmeye yönelik umut verici ve pratik bir yol sunuyor.

Atıf: Li, Y., Luo, Z., Zhu, G. et al. Application of hierarchical self-supervised contrastive learning in domain adaptation matching of multimodal remote sensing image. Sci Rep 16, 6445 (2026). https://doi.org/10.1038/s41598-026-37312-5

Anahtar kelimeler: uzaktan algılama, çok modlu görüntüleme, öz-denetimli öğrenme, kontrastif öğrenme, alan uyarlaması