Sinaptik transistörler kullanılarak hareket analizinin sağladığı insan yeteneklerinin ötesinde ultra hızlı görsel algı

Neden Daha Hızlı Robot Görüşü Önemli?

Bir aracın sürücüsüz sistemi ya da uçan bir drone yalnızca birkaç salise geç tepki verirse sonuçlar ciddi olabilir. Bugünün en iyi bilgisayarlı görü algoritmaları standart testlerde insanlarla eşleşebiliyor veya onları geçebiliyor, ancak yine de her video karesini gerçek zamanlı olarak işlemek için çok uzun zaman alıyor. Bu makale, doğruluktan ödün vermeden makinelerin insanlardan çok daha hızlı hareket algılamasını sağlayan, beyinden esinlenmiş yeni bir görsel donanım türünü sunuyor.

Genellikle Makinelere Hareketi Nasıl Öğretiyoruz

Geleneksel hareket analizi, bir görüntüdeki her noktanın bir kareden diğerine nasıl hareket ettiğini tahmin eden optik akış adı verilen bir tekniğe dayanır. Bu iyi çalışır ama hesaplama açısından yoğundur: tam yüksek çözünürlüklü bir görüntü için güçlü bir grafik kartı işi bitirmek üzere yarım saniyeden fazla zamana ihtiyaç duyabilir. Otoyolda sürüş gibi hızın yüksek olduğu senaryolarda bu gecikme sistem tehlikeyi fark edene kadar geçen sürede onlarla ifade edilebilecek metreler anlamına gelebilir. Sahnedeki en ilgili bölümlere hızla odaklanan insan görme sistemiyle farklı olarak, standart algoritmalar her pikseli titizlikle işler; az faydalı bilgi taşıyan durağan arka plan bölgeleri bile işlemden geçirilir.

Beynin Erken Görüş Aşamalarından Bir Hile Ödünç Almak

Biyoloji, göz ve talamusta bulunan erken filtreleme katmanlarını kullanarak nerede değişim olduğunu vurgular ve geri kalanları bastırır; bu sorunu böyle çözer. Yazarlar bu fikri silikon üzerinde taklit ederek nöromorfik bir "zamansal dikkat" modülü inşa ediyor. Standart bir kamera görüntüleri yakalamaya devam eder, ancak parlaklık değişimleri ayrıca sinaptik transistörlerden oluşan kompakt bir ızgaraya da beslenir—beyindeki ayarlanabilir bağlantılara benzeyen davranışlar gösteren elektronik aygıtlar. Her aygıt, atandığı bölgedeki ışığın kısa bir zaman penceresinde ne kadar değiştiğini yerelde biriktirir. Kuvvetli değişim gören ızgara yamaları ilgi bölgeleri olarak parlar, daha sakin alanlar ise arka plana çekilir.

Hareketi Hatırlayan Akıllı Transistörler

Bu sistemin kalbinde, katmanlı ve atomik incelikte malzemelerden yapılmış özel olarak tasarlanmış bir yüzen kapılı sinaptik transistör bulunur. Kısa voltaj darbeleri uygulayarak, aygıtın iletkenliği ayarlanabilir ve saatlerce tutulabilir; böylece son görsel etkinliğin bir hafızası etkili biçimde depolanır. Transistörler yaklaşık 100 mikro-saniyede yanıt verir—yüksek hızlı video için yeterince hızlıdır—ve bozulmadan binlerce güncelleme döngüsüne dayanır. Ekip tek bir aygıtı 4×4 dizisine ölçeklendirip, kamera parlaklığındaki değişimlerin voltaj darbelerine nasıl dönüştüğünü ve bazı hücreleri yüksek iletkenlikte "hareket" durumlarına seçici olarak itip küçük titreşimler ve gürültüyü nasıl bastırdığını gösterdi.

Ağır Hesaplamayı Sadece Önemli Yerlere Odaklamak

Izgaranın çıktısı, kompakt ilgi bölgelerini işaretleyen kaba bir "ısı haritasına" dönüştürülür. Tüm görüntü üzerinde pahalı optik akış kodunu çalıştırmak yerine sistem yalnızca bu vurgulanmış alanları, çevresinde biraz dolgu ile analiz eder. Yazarlar bu yaklaşımın Farneback gibi klasik algoritmalardan RAFT ve GMFlow gibi modern derin öğrenme modellerine kadar çeşitli popüler optik akış yöntemlerine doğrudan entegre olduğunu gösteriyor. Arabalar, dronlar, robot kollar ve masa tenisi gibi hızlı sporları içeren testlerde nöromorfik ön uç, hareket tahmini ve takip, nesneyi nerede hareket edeceğini öngörme, hareketli nesneleri arka plandan segmentleme veya hedef takibi gibi takip görevlerinde harcanan süreyi rutin olarak yaklaşık dört kat kısaltıyor.

Doğruluktan Ödün Vermeden İnsan Tepkisini Geride Bırakmak

Önemli olan, bu hızlanmanın güvenilirlik pahasına olmamasıdır. Hareketin nerede olabileceği konusunda ek bilgiler sağlayarak zamansal ipuçları çoğu zaman doğruluğu artırır; özellikle kalabalık sahnelerde nesne takibi ve segmentasyonda. Araç ve küçük drone senaryolarında görev performans ölçütleri geleneksel boru hatlarına kıyasla iki katın üzerinde artarken, toplam işlem süreleri onlarca milisaniyeye düştü—yaklaşık 150 milisaniye olan tipik insan tepki süreleriyle eşdeğer veya onlardan daha iyi. Yazarlar bu nöromorfik hareket ön ucunun birçok mevcut görme algoritmasıyla ve optik akışın ötesindeki nesne algılayıcılarla eşleştirilerek robotlara, araçlara ve etkileşimli makinelere dinamik ortamlarda çok daha hızlı ve odaklanmış bir anlama biçimi sağlayabileceğini savunuyor.

Atıf: Wang, S., Zhao, J., Pu, T. et al. Ultrafast visual perception beyond human capabilities enabled by motion analysis using synaptic transistors. Nat Commun 17, 1215 (2026). https://doi.org/10.1038/s41467-026-68659-y

Anahtar kelimeler: nöromorfik görme, optik akış, sinaptik transistörler, robot algısı, otonom sürüş