Projeksiyon Çekirdeği düzenlemesi ile difüzyon tabanlı çokmodlu uzaktan algılama segmentasyonu

Yüksekten Daha Keskin Haritalar

Modern şehirler, yalnızca renkli fotoğraflar değil aynı zamanda 3B yükseklik bilgisi de yakalayan uçak ve uydu filoları tarafından yukarıdan izleniyor. Bu zengin veriyi binalar, yollar, ağaçlar ve araçlar gibi öğelerin hassas haritalarına dönüştürmek, planlama, afet müdahalesi ve çevresel izleme için hayati öneme sahip. Bu makale, bu farklı bakış açılarını birleştirmenin ve gürültülü tahminleri temizlemenin yeni bir yolunu sunuyor; böylece havadan görüntülerden daha net ve daha güvenilir arazi örtüsü haritaları elde ediliyor.

Gökyüzünden Gelen Görünümleri Karıştırmak Neden Zor?

Havadan haritalama sistemleri genellikle iki ana girdi türünü birleştirir: yer yüzeyine dik ve detaylı görünen ortofotolar ve her noktanın yüksekliğini kaydeden dijital yüzey modelleri. Fotoğraflar doku ve renk açısından zengindir ancak gölgeler ve perspektiften kaynaklanan bozulmalara duyarlı olabilir. Yükseklik haritaları bina şekillerini ve ağaç örtüsünü yakalar, ancak gürültülü veya kaba olabilir. Geleneksel derin öğrenme yöntemleri bu girdileri ya üst üste koyar ya da basit yollarla füze eder. Sonuç olarak, geometri ve doku uyumsuz olabilir, nesneler arası sınırlar bulanıklaşabilir ve yoğun kentsel sahnelerde arabalar gibi küçük öğeler kaçırılabilir.

Gürültülü Tahminlerden İyileştirilmiş Sahnelere

Yazarlar, gürültülü tahminlerden başlayıp bunları tekrarlayan adımlarla daha temiz bir sonuca doğru inceleyen bir algoritma ailesi olan difüzyon modelleri üzerine inşa ediyor. Segmentasyonu tek atışlık bir karar olarak ele almak yerine model birçok küçük adım alır ve her adımda hangi pikselin hangi sınıfa ait olduğu haritasını kademeli olarak iyileştirir. PKDiff adını verdikleri çerçevede bu iyileştirme iki ana fikirle yönlendirilir: fotoğraf ve yükseklik bilgisini daha akıllıca birleştiren bir yöntem ve tahminlerin yalnızca piksel düzeyinde değil tüm görüntü boyunca beklenen dağılımla uyumlu olmasını sağlayan yeni bir yaklaşım.

Görüntülerle Yüksekliklerin Birlikte Çalışmasına Yardımcı Olmak

Fotoğraf ve yükseklik verilerinin güçlü yönlerini daha iyi birleştirmek için model, Çapraz-Dikkat İkili Kodlayıcı Füzyon (Cross-Attention Dual-Encoder Fusion) modülü kullanır. Bir dal renk ve dokuya, diğeri yükseklik ve yapıya odaklanır. Kaba ölçeklerde yükseklik bilgisi modelin binaların, yolların ve parkların genel düzenine yönelmesine yardımcı olur. İnce ölçeklerde kenarlar boyunca yükseklik farkları, çatı çizgileri veya ağaç ile çim arasındaki sınırlar gibi yerlerde sınırları keskinleştirmeye katkı sağlar. Hiyerarşik EMA-Gated Recursive Denoising adı verilen ayrı bir gürültü giderme bileşeni ölçekler ve zaman adımları arasında bilgi aktarır; yeni iyileştirmelere karşı geçmiş tahminlere ne kadar güvenileceğine karar verir. Bu, erken hataların model yinelemeleriyle sürekli büyüme riskini azaltır.

Sadece Bireysel Pikselleri Değil Bütünü Hizalamak

Mevcut yöntemlerin çoğu modellerini her pikseli ayrı ele alan kayıplarla eğitir; örneğin çapraz entropi veya ortalama kare hatası. Bunlar yerel doğruluğu artırabilir ancak yine de tüm görüntü genelinde istatistiksel dengesizliklere yol açan tahminler üretebilir — örneğin yolları fazla, bitki örtüsünü eksik tahmin etmek gibi. Bu çalışmanın temel katkısı, tahmin edilen sınıfların genel dağılımının gerçek dağılımla ne kadar iyi eşleştiğini ölçen bir projeksiyon-çekirdeği (projection-kernel) düzenleyicisidir. Bunu, her pikselin sınıf olasılıklarını yüksek boyutlu uzayda bir nokta olarak görerek, bu noktaları birçok tek boyutlu yöne projekte edip iki projeksiyon kümesinin nasıl farklılaştığını karşılaştırarak yapar. Bu yönleri rastgele örneklemek yerine yazarlar, tüm yönler boyunca farkları verimli biçimde toplamak için şık bir kapalı formül türetir; bu da ölçüyü hem kararlı hem de ince değişimlere duyarlı kılar.

Daha İyi Sınırlar ve Daha Tutarlı Haritalar

Yazarlar yöntemlerini, yüzeyler, binalar, bitki örtüsü, ağaçlar, araçlar ve karışık öğeler için yer-gerçeği etiketleriyle birlikte çok yüksek çözünürlüklü görüntüler ve yükseklik haritaları içeren Almanya’daki Vaihingen ve Potsdam kentlerinin iki iyi bilinen kentsel benchmark’ında test ediyorlar. Bir dizi standart doğruluk ölçüsünde PKDiff, güçlü konvolüsyonel, Transformer tabanlı ve diğer difüzyon tabanlı modellere kıyasla daha iyi performans gösteriyor. Kazançlar özellikle geometri önem taşıyan kategorilerde belirgin; binalar, düşük bitki örtüsü ve küçük araçlarda sınırlar daha keskin, nesneler daha az parçalanmış ve yollar gibi geniş bölgeler daha tutarlı etiketleniyor. Basitçe söylemek gerekirse, doku ve yükseklik bilgilerini dikkatle birleştirip tahminlerin topluca "doğru göründüğünü" de zorunlu kılarak önerilen yaklaşım, karmaşık havadan veri setlerinden daha temiz ve daha güvenilir haritalar üretiyor.

Atıf: Tong, X., Yang, F., Yang, Q. et al. Projection Kernel regularization for diffusion-based multimodal remote sensing segmentation. Sci Rep 16, 14385 (2026). https://doi.org/10.1038/s41598-026-44603-4

Anahtar kelimeler: uzaktan algılama segmentasyonu, çokmodlu füzyon, difüzyon modelleri, kentsel haritalama, havadan görüntüleme