Monoküler, stereo ve RGBD kameralar için ölçek farkındalıklı yoğun dinamik SLAM

Hareketli, değişen dünyalar için daha akıllı dijital haritalar

Robotlar, insansız hava araçları ve artırılmış gerçeklik başlıkları gibi cihazların güvenli ve akıcı hareket edebilmesi için çevrelerini ayrıntılı biçimde anlamaları gerekir. Ancak çoğu haritalama sistemi, insanların yanından geçmesi, araçların önünden gitmesi veya mobilyaların taşınması gibi durumlarda tökezler. Bu makale, kameranın etrafındaki dünya hareketle dolu olsa bile gerçek zamanlı olarak zengin, doğru 3B haritalar oluşturabilen ve yaygın kamera türleriyle çalışan yeni bir haritalama yaklaşımı olan SDMFusion'ı sunuyor.

Geleneksel görsel sistemler neden yetersiz kalıyor

Birçok robot, aynı anda hem nerede olduğunu belirleyen hem de bir harita oluşturan görsel SLAM tekniğine güvenir. Klasik sistemler dünyanın çoğunlukla durağan olduğunu varsayar ve genellikle birkaç izlenen noktadan oluşan seyrek haritalar üretir. Ayrıca tek bir kamera kullanıldığında sahnenin gerçek büyüklüğünü söyleyemedikleri için zorlanırlar: lensin yakınındaki küçük bir oyuncak, uzaktaki büyük bir nesne gibi görünür. Hareket eden insanlar ve nesneler bu yöntemleri şaşırtır; kamera yol tahmini sapar ve harita güvenilmez hale gelir. Bu zayıflıklar, düşük maliyetli kameraların gerçek evlerde, sokaklarda ve iş yerlerinde kullanılmasını sınırlar.

Güvenilir haritalama için üç parçalı bir motor

SDMFusion, popüler ORB-SLAM3 sisteminin üzerine inşa edilmiştir ancak bu engelleri aşmak için birbirine sıkı sıkıya bağlı üç modül ekler. Birincisi, ölçek–derinlik modülü her görüntüyü DepthAnythingV2 adlı güçlü bir sinir ağına gönderir; bu ağ her pikselin uzaklığını tahmin eder. Tek kamera için bu tahmin, eksik gerçek dünya ölçeğini sağlar; stereo ve RGB-D kameralar içinse ham derinlik okumalarını düzeltmek ve boşlukları doldurmak için kullanılır. İkincisi, dinamik–özellik modülü, en son YOLO ailesinden esinlenmiş hızlı bir segmentasyon ağı kullanarak hareket edebilecek nesneleri arar. İnsanlar, arabalar ve sandalyeler gibi taşınabilir olabilecek nesneleri gruplayarak, kareler arasındaki geometrik tutarlılık testleriyle her bir özelliğin gerçekten hareket edip etmediğini kontrol eder. Gerçekten hareket eden parçalara ait özellikler elenir, sabit olanlar ise hassas takip için korunur. Üçüncüsü, anti-dinamik yeniden yapılandırma modülü rafine edilmiş derinlikleri, güvenilir kamera pozlarını ve statik piksellerin maskelerini alarak yalnızca hareketsiz parçaları yoğun bir 3B haritada birleştirir.

Yöntemin uygulamadaki performansı

Yazarlar SDMFusion’u üç iyi bilinen halka açık veri kümesi ve küçük bir drone ile kendi kaydettikleri sahneler üzerinde kapsamlı testlere tabi tuttu. Seçilen veri kümeleri, dış mekan sürüşünü, dağınık iç mekânları ve tek kameralı, stereo ve RGB-D kameralarla kaydedilmiş; insanların yürüdüğü, oturduğu veya kutu kaldırdığı son derece dinamik durumları kapsıyor. SDMFusion’ı ORB-SLAM3, DS-SLAM, DynaSLAM ve RDS-SLAM gibi gelişmiş sistemlerle karşılaştırdılar ve tahmin edilen kamera yolunun doğrulukla ne kadar uyuştuğunu ölçen standart metrikleri kullandılar. Çoğu sırada SDMFusion daha düşük hatalar ve daha yüksek başarı oranları elde etti; bu özellikle en zorlu dinamik sahnelerde ve ölçek tahmininin en zor olduğu tek kamera kurulumlarında belirgindi. Görsel olarak, yoğun haritaları daha eksiksiz ve hareketli insanların yanlışlıkla statik ortama eklenmesiyle oluşan “hayaletler” ve bulanık şekillerden arınmış durumda.

Güçlü yönler, sınırlamalar ve gelecek yönleri

Sonuçlar, güçlü derinlik tahmini, dinamik nesnelerin dikkatli işlenmesi ve seçici yeniden yapılandırmanın birleşiminin hem ayrıntılı hem de güvenilir haritalar ürettiğini gösteriyor. SDMFusion güçlü bir masaüstü grafik kartında gerçek zamanlı çalışıyor; gömülü donanımlarda daha yavaş olsa da yazarlar derinlik ağını TensorRT ile optimize ederek büyük hız kazanımları gösteriyor. Ayrıca her modülün önemini ablation çalışmalarıyla araştırıyor ve ölçek kurtarma, segmentasyon ve hareket kontrollerinin doğruluk ve sağlamlığa belirgin katkı sağladığını teyit ediyorlar. Yine de sistem, neredeyse tüm görüntünün tek bir hareketli nesne tarafından kaplandığı durumlarda başarısız olabilir; bu durumda tutunmak için çok az statik bölge kalır ve monoküler performans çok karmaşık sahnelerde stereo ve RGB-D’nin gerisinde kalmaya devam eder.

Günlük robotlar için anlamı

Bir göze çarpan çıkarım, SDMFusion’ın kamera tabanlı haritalamayı gerçek dünyada robotların ve AR cihazlarının beklediğimiz şekilde davranmasına daha da yaklaştırdığıdır: yoğun, ölçekli 3B modeller oluşturuyor, gerektiğinde insanları ve diğer hareketlileri yok sayıyor ve konumunu yüksek güvenilirlikle takip ediyor. Küçük cihazlarda ve aşırı kalabalık sahnelerde gelişme için alan olsa da bu çalışma, yalnızca hafif kameralar kullanarak yoğun evler, ofisler ve sokaklarda gezinme yeteneğine sahip uygun maliyetli makineler için belirgin bir yol gösteriyor.

Atıf: Cen, N., Xu, Y., Wong, TW. et al. Scale aware dense dynamic SLAM for monocular, stereo and RGBD cameras. Sci Rep 16, 10285 (2026). https://doi.org/10.1038/s41598-026-41208-9

Anahtar kelimeler: görsel SLAM, 3B haritalama, robot navigasyonu, dinamik ortamlar, derinlik tahmini