Havadan görüntülerde küçük nesne tespiti için aşamalar arası kenar bilgi füzyon ağı

Gökyüzünden küçük ayrıntıları fark etmenin önemi

Trafik izleme ve afet müdahalesinden bitki bakımı gibi uygulamalara kadar dünyamız, giderek daha çok insansız hava araçları tarafından yukarıdan izleniyor. Ancak bu havadan görüntülerde en çok önem verdiğimiz birçok şey—insanlar, otomobiller veya hayvanlar—çoğu zaman yalnızca birkaç piksel genişliğinde görünür. Bu makale, bu küçük nesneleri kalabalık şehir sokakları, tarla veya gece gürültüsü arasında olsa bile daha doğru ve hızlı bulmak üzere özel olarak tasarlanmış CEIFNet adlı yeni bir bilgisayarlı görme sistemini tanıtıyor.

Geniş bir sahnede küçük şeyleri görmek

Standart nesne tespit sistemleri ağırlıklı olarak yerde çekilmiş fotoğraflar için geliştirildi; bu tür karelerde bir araba veya insan genellikle çerçevenin fark edilir bir kısmını kaplar. Oysa drone görüntülerinde kamera yüzlerce metre yukarıda olabilir, bu yüzden her hedef çok küçük olur ve bir sinir ağı içinde görüntü küçültüldüğünde kolayca bulanıklaşır veya kaybolur. Yazarlar, YOLO ailesi gibi popüler tek aşamalı dedektörlerin gündelik sahnelerde iyi çalıştığını, ancak nesneler hem çok küçük hem de boyut bakımından çok çeşitli olduğunda zorlandığını açıklıyor. Tüm sahneyi anlamak amacıyla yapılan tekrarlı alt örnekleme, bu küçük hedeflerden gelen zayıf sinyalleri silme eğilimindedir.

Yakın plan görme ile genel bağlamı harmanlamak

Bunu ele almak için CEIFNet iki tamamlayıcı görme yolunu birleştiriyor. Bir yol, köşeler ve dokular gibi keskin yerel desenleri yakalamakta iyi olan klasik konvolüsyonel filtreleri kullanıyor. Diğer yol ise, görüntünün uzak parçalarını ilişkilendirme ve sahneyi bütün olarak anlama konusunda üstün olan Transformer tarzı bir dikkat mekanizması kullanıyor. Aşama merkezi yapı bloğu olan aşamalar arası transformer bloğu içinde gelen görüntü özellikleri bölünüyor: çoğu kanal hafif ağırlıklı konvolüsyon yolundan geçerken, daha küçük bir bölüm uzun menzilli ilişkiler üzerinde düşünen bir dikkat yolundan geçiyor. Bunlar sonra yeniden birleştirilerek ağın hesaplama maliyetini patlatmadan hem ince ayrıntıya hem de küresel farkındalığa sahip olması sağlanıyor.

Küçük hedefler için kenarları bir harita olarak kullanma

Makalenin önemli bir içgörüsü, nesne sınırlarının—kenarların—hedefler yalnızca birkaç piksel genişliğindeyken özellikle değerli olduğudur. Yalnızca öğrenilmiş filtrelere güvenmek yerine, yazarlar kasıtlı olarak kenar bilgisini ağa enjekte ediyor. Ayrılmış bir modül önce parlaklık değişimlerinin keskin olduğu yerleri vurgulamak için basit ama sağlam bir kenar algılayıcı olan Sobel operatörünü uygular; bu, örneğin arabaların veya insanların dış hatları çevresinde görülür. Bu kenar haritaları daha sonra farklı özellik ölçekleriyle eşleşecek şekilde birkaç boyutta havuzlanır ve kanallar arası bir modül aracılığıyla füzyon edilir. Görüntü ağ içinde daha derine aktıkça, bu keskinleştirilmiş kenar ipuçları sonraki katmanlara tekrar tekrar beslenir; bu da modelin, sıradan bulanıklaşma ve küçülmeye rağmen küçük nesnelerin nerede başladığını ve bittiğini takip etmesine yardımcı olur.

Boyuta, konuma ve sahne karmaşıklığına uyum sağlama

Çıkışta CEIFNet, gördüklerine göre davranışını ayarlayabilen dinamik bir tespit başlığı kullanır. Sabit filtreler kullanmak yerine, bu son aşama aynı anda üç biçimde dikkat uygular: belirli nesne boyutlarını tercih edebilir, görüntüdeki en umut verici konumlara odaklanabilir ve en bilgilendirici özellik kanallarını vurgulayabilir. Ek olarak ekstra ince ayrıntılı bir katmanı koruyan bir özellik piramidi yapısıyla birlikte, bu sistem kalabalık kavşaklardan yoğun otoparklara ve gece termal kızılötesi sahnelere kadar gerçekçi drone görüntülerinde küçük, sıkışık hedeflere karşı daha duyarlı hale gelir.

Gerçek drone senaryolarında kazanımları kanıtlama

Araştırmacılar CEIFNet’i iki zorlu drone veri kümesinde test etti: gündüz kentsel ve banliyö sahnelerinden oluşan VisDrone2019 ve birçok hedefin sönük ve küçük olduğu bir termal kızılötesi koleksiyonu olan HIT-UAV. Her iki veri kümesinde de yeni sistem, güçlü bir YOLO tabanlı temel modele ve diğer birçok modern dedektöre kıyasla nesneleri daha doğru tespit etti ve yine de güçlü bir grafik kartında gerçek zamanlı kullanım için yeterince hızlı çalıştı. Dikkatli ablation (bileşen çıkarma) deneyleri, her bir parçanın—hibrit blok, kenar modülü, ekstra ince katman ve dinamik başlık—genel artışa katkıda bulunduğunu gösterdi.

Günlük teknoloji için bunun anlamı

Uzman olmayanlar için çıkarılacak ders, CEIFNet’in drone’ların geniş ve karmaşık sahnelerde “küçük şeyleri fark etmesi” için daha akıllı bir yol sunduğudur. Kenar bilgisini koruyarak, yerel ayrıntıyı küresel bağlamla karıştırarak ve dikkatini dinamik olarak uyarlayarak ağ, diğer sistemlerin kaçırdığı veya yanlış yerleştirdiği küçük nesneleri tespit edebilir. Bu, drone tabanlı izlemeyi trafik güvenliği, arama-kurtarma ve hassas tarım gibi görevler için daha güvenilir kılar ve daha yüksek ve daha geniş görüşlerden güvenilir bilgi çıkarabilen gelecekteki sistemlere işaret eder.

Atıf: Xiao, J., Li, C., Chen, H. et al. Cross-stage edge information fusion network for small object detection in aerial images. Sci Rep 16, 7639 (2026). https://doi.org/10.1038/s41598-026-36251-5

Anahtar kelimeler: havadan nesne tespiti, küçük nesneler, insansız hava aracı görüntüleme, kenar-tabanlı görme, derin öğrenme