Görsel dönüşümcü ve uç bilişim tabanlı insansız hava araçları için gerçek zamanlı nesne tespiti

Gökyüzünde Daha Akıllı Gözler

İnsansız hava araçları—dronlar—köprü denetimi, trafik izleme ve kayıp kişi arama gibi işler için hızla günlük araçlar haline geliyor. Ancak bir dronun bu zaman açısından kritik görevlerde gerçekten yardımcı olabilmesi için dünyayı yalnızca filme almakla kalmayıp, sınırlı pil ömrü ve küçük bir yerleşik bilgisayarla uçarken küçük nesneleri gerçek zamanlı olarak tanıması gerekir. Bu makale, gelişmiş bir yapay zekâ tekniği olan görsel dönüşümcüyü (vision transformer) yakındaki uç (edge) bilgisayarların akıllıca kullanımıyla birleştirerek dronlara daha keskin ve hızlı “gözler” kazandırmanın yeni bir yolunu sunar; böylece yayalar, bisikletler ve arabalar gibi küçük nesneler havadan hızlı ve güvenilir şekilde tespit edilebilir.

Dronların Küçük Ayrıntıları Görmede Neden Zorlandığı

Yerden yüksekte, insanlar ve araçlar bir video karesinde sadece birkaç düzine piksele kadar küçülebilir. Dronlarda kullanılan geleneksel sinir ağı sistemleri düşük güçlü çiplerde hızlı çalışacak şekilde tasarlanmıştır, ancak genellikle bu küçük nesneleri kaçırır veya aydınlatma ya da görüş açısı değiştiğinde başarısız olurlar. Dil işleme dünyasından uyarlanan daha yeni görsel dönüşümcü modeller, sahnenin tamamını aynı anda daha iyi anlamada ve dağınık arka planlardan küçük ayrıntıları ayırmada çok daha başarılıdır. Sorun şu ki, genellikle uç platformun taşıyabileceğinden çok daha fazla hesaplama gücü gerektirirler. Yazarlar bu boşluğu kapatmayı amaçlamışlardır: dönüşümcünün keskin görüşünü korumak, ancak onu bir dronda gerçek zamanlı çalışacak kadar inceltmek ve ek işi yalnızca koşullar izin verdiğinde yakındaki bir uç sunucusuna aktarmak.

Bölünmüş Zeka: Dron ve Uç Birlikte Çalışıyor

Önerilen çerçeve işi dron ile yer tabanlı bir uç bilgisayar arasında böler. Dronun kamerası, sarsıntılı görüntüyü stabilize eden, parlaklığı ayarlayan ve mevcut hesaplama gücüne göre dinamik olarak görüntü boyutunu yeniden boyutlandıran yerleşik bir ön işleme modülüne yüksek çözünürlüklü video akışı gönderir. Hafif bir görsel dönüşümcü daha sonra her kareden zengin özellikler çıkarır ve nesnelerin nerede ve ne olduğunu tahmin eden bir tespit başlığına besler. Bir zamanlayıcı kablosuz ağ gecikmesini, pil seviyesini ve işlem yükünü izler. Yerle bağlantı hızlı ve stabil olduğunda, kare demetlerinin işlenmesi veya doğruluğu artıran ek modellerin çalıştırılması gibi daha ağır görevler uç sunucuya aktarılabilir. Bağlantı zayıfladığında sistem, dronun asla “kör uçmak” zorunda kalmaması için otomatik olarak tamamen yerleşik işleme moduna geçer.

Görüşü Kaybetmeden Modeli İnceltilmesi

Dönüşümcüyü küçük ve yeterince hızlı yapmak için yazarlar iç işleyişini yeniden tasarlar. Görüntünün her bölümünün diğer her bölümle kendini karşılaştırmasına izin vermek—çözünürlükle birlikte patlayıcı biçimde artan bir süreç—yerine, hesaplama maliyetini daha yönetilebilir düzeye düşürmek için resim üzerinde kayan yerel pencerelere dikkat sınırlaması getirirler. Bunun üzerine, dinamik budama şeması görüntünün hangi bölgelerinin yararlı bilgi içerdiğini ve hangilerinin çoğunlukla boş arka plan olduğunu sürekli değerlendirir. Bilgi içermeyen tokenlar erken aşamada atılır, zaman ve hafıza tasarrufu sağlanırken; karmaşık, dağınık sahneler daha fazla detay saklar. Model ayrıca hem küçük yayaları hem de daha büyük araçları aynı karede tespit edebilmek için çok ölçekli bir özellik piramidi oluşturur. Daha az bit kullanan dikkatli kuantizasyon, kanal budaması ve düşük seviyeli yazılım optimizasyonlarıyla birleştirildiğinde, bu değişiklikler gerekli hesaplamaları yaklaşık üçte iki oranında azaltırken orijinal doğruluğun %94’ünden fazlasını korur.

Sistemi Teste Sokmak

Ekip tasarımlarını halka açık dron kıyas setlerinden derlenen büyük bir hava görüntüsü veri kümesi ve farklı mevsim ve aydınlatma koşullarında şehirlerde, banliyölerde ve kırsal alanlarda yeni toplanmış binlerce görüntü üzerinde değerlendirir. Dronlarda popüler bir gömülü bilgisayar olan NVIDIA Jetson Xavier NX üzerinde sistemleri gerçek zamanlı işletme için yeterli olan yaklaşık 39 kare/saniye hızında çalışırken, YOLO varyantları gibi yaygın kullanılan hafif dedektörlerden daha yüksek doğruluk elde eder. Özellikle küçük nesneleri tespit etmede önemli derecede daha iyidir; geleneksel evrişimsel ağlara kıyasla ortalama doğrulukta yaklaşık yedi puanlık bir artış gösterir. Ticari bir dron platformunda yapılan hafta süren saha denemeleri, sistemin kamera titreşimi, değişen aydınlatma ve dalgalanan kablosuz bağlantıya rağmen performansı koruduğunu ve gerçek uçuşlar sırasında uç destekli ve tamamen yerleşik modlar arasında sorunsuzca geçiş yapabildiğini gösterir.

Gerçek Dünya Dron Görevleri İçin Anlamı

Düz bir ifadeyle, bu çalışma dronlara veri merkezi sınıfı bir bilgisayar takmadan daha keskin ve daha güvenilir bir görüş kazandırmanın mümkün olduğunu gösterir. Görsel dönüşümcüyü zayıf şekilde yeniden tasarlayarak, her görüntünün en bilgilendirici kısımlarına seçici odaklanarak ve mümkün olduğunda dronu yakındaki bir uç sunucusuyla eşleştirerek, yazarlar daha fazla gören, daha az kaçıran ve sıkı güç ile bellek bütçeleri içinde hâlâ gerçek zamanlı çalışan bir dedektör sunarlar. Bu, arama-kurtarma, afet değerlendirmesi ve altyapı denetimi gibi görevleri daha güvenli ve etkili kılar, çünkü dronlar bir gecikmenin hayati olabileceği anlarda mahsur kalmış bir kişiyi veya hasarlı bir kablo gibi küçük ama kritik ayrıntıları daha iyi tespit edebilirler.

Atıf: Zhu, W., Chen, K. Real-time object detection for unmanned aerial vehicles based on vision transformer and edge computing. Sci Rep 16, 6814 (2026). https://doi.org/10.1038/s41598-026-37938-5

Anahtar kelimeler: insansız hava araçları, nesne tespiti, uç bilişim, görsel dönüşümcü, gerçek zamanlı görüntüleme