NEOSTI - nöromorfik elektronik-optik uzaysal-zamansal hibrit görüntü sensörü

Neden daha akıllı bir elektronik göze ihtiyaç var

Otonom araçlardan ev robotlarına kadar makinelerin dünyayı net görmesi ve büyük miktarda güç tüketmeden hızla tepki vermesi giderek daha önemli hale geliyor. Bugünün dijital kameraları keskin görüntüler toplar, ancak ardından ağır işlem gerektiren işleri yapmak için büyük miktarda veriyi uzak çiplere veya bulut sunucularına göndermek zorunda kalır; bu da zaman ve enerji kaybına yol açar. Bu makale, algılama, sıkıştırma ve görsel sahneleri doğrudan bir çip üzerinde anlama yeteneğine sahip insan gözünden esinlenmiş küçük kamera sistemi NEOSTI’yi tanıtıyor; bu da geleceğin cihazları için daha hızlı, daha verimli görüş vaat ediyor.

Gözlerimiz yeni makine görüşüne nasıl ilham veriyor

İnsan gözü, olağanüstü bir verimlilikle büyük görsel bilgi akışlarını işler. Retina üzerindeki 130 milyondan fazla ışığa duyarlı hücre gelen ışığı yakalar, fakat gözün kendisindeki akıllı işlem bu veriyi optik sinire göndermeden önce yüz katın üzerinde sıkıştırır. Retina ayrıca parlak güneş ışığı ve loş yıldız ışığını bile rahatça yönetir ve bunu sadece birkaç millivat güç tüketimiyle yapar. Buna karşılık, çoğu makine görüş sistemi yalnızca piksel parlaklığını kaydeden geleneksel görüntü sensörlerine dayanır ve ham görüntüleri güçlü işlemcilere ileterek çok daha fazla enerji harcar ve hareketli robotlar, drone’lar veya araçlar için gereken anlık tepki sürelerini karşılamakta zorlanır.

Bakan kadar düşünen küçük bir kamera

NEOSTI (Neuromorphic Electronic Opto Spatial Temporal Imager’ın kısaltması), bu sınırlamaları aşmak için biyolojiden birkaç hileyi kopyalar. Algılama ve hesaplamayı ayrı adımlar olarak ele almak yerine, NEOSTI bunları birleştirir. Önceden çipin önüne yerleştirilmiş desenli bir optik maske, yerleşik lenssiz bir filtre gibi davranır ve ışık sensöre ulaşmadan önce sahne üzerinde kayarak seçici bir işlem uygular. Bu, daha sonra işlenmesi gereken bilgi miktarını azaltır. Ardından, özelleşmiş pikseller ışığı çubuk ve konilerin gözde yanıt verme biçimine benzeyen doğrusal olmayan bir şekilde darbeye çevirir; böylece kullanışlı aralığı çok loştan çok parlaka kadar genişletir. Son olarak, doğrudan çip üzerine yerleştirilmiş kompakt bir sinir ağı, ortaya çıkan desenleri analiz ederek şekilleri, giysi öğelerini, göz konumlarını veya kısa video kliplerde insan hareketlerini tanır.

Işık, darbeler ve basit çip içi düşünme

NEOSTI’nin içinde her piksel sadece parlaklığı ölçmekten daha fazlasını yapar. Işık bir piksele çarptığında, voltaj düşer ve ışık yoğunluğuna bağlı olarak genişliği değişen bir darbeyi tetikler; bu, alışılmış düzgün voltaj sinyalini dijital lojikte işlemeyi kolaylaştıran bir zamanlama sinyaliyle değiştirir. Her pozlama sırasında tetik noktasını yavaşça kaydırarak pikseller, gözün uyarlayıcı davranışını taklit eder; böylece loş sahnelerde hassas kalırken parlak ortamlarda aşırı yüklenmeden kaçınır. Algılama alanının hemen altında, küçük işlem elemanları bitişik piksellerin darbe sayısını toplayıp çıkararak karşılaştırır, böylece gereksiz arka planı temizler ve kenarları ile hareketleri öne çıkarır. Bir donanım hattı daha sonra bu sonuçları bir sinir ağının katmanlarını andıran basit adımlardan geçirir, veriyi kademeli olarak azaltırken en bilgilendirici özellikleri korur.

Sistemi teste koymak

Araştırmacılar NEOSTI’yi birkaç bilinen görüntü ve video görevinde değerlendirdiler. Mütevazı çözünürlük ve düşük güç kullanımına rağmen çip, el yazısı rakamları, moda öğelerini, basit çizimleri ve sentetik göz görüntülerini çoğu durumda yüzde 90’ın üzerinde doğrulukla sınıflandırdı. Ayrıca koşma, zıplama ve eğilme gibi hareketleri içeren bir insan eylemleri video veri setini yaklaşık yüzde 91 doğrulukla işledi. Sadece optik maske veya yalnızca çip içi elektronik açıldığında yapılan testler her iki parçanın da gerekli olduğunu gösterdi; tam sistemin kullanılması, her bir parça tek başına kullanıma kıyasla doğrulukta on puandan fazla iyileşme sağladı. Görüntü kalitesi bozulduğunda bile NEOSTI istikrarlı performansını korudu; bu da ön uç optik filtrasyonun ve çip içi sinir ağının sistemi gürültü ve düşük ışıkla başa çıkmada yardımcı olduğunu gösteriyor.

Bu yeni elektronik gözün anlamı

Uzman olmayanlar için temel mesaj şudur: NEOSTI, geleceğin kameralarının yalnızca fotoğraf çekmekten çok daha fazlasını yapabileceğini gösteriyor. Işığı sensöre ulaşmadan önce biçimlendirerek, parlaklığı sağlam darbe sinyallerine dönüştürerek ve basit öğrenme devrelerini doğrudan çipe ekleyerek NEOSTI, minyatür bir göz ve beyin birleşimi gibi davranır. Geleneksel, büyük harici işlemcilere dayanan düzeneklere kıyasla çok daha az enerji ve donanımla desenleri ve hareketleri tanıyabilir. Çözünürlüğü artırmak ve renk eklemek için daha fazla çalışma gerekse de, bu yaklaşım gündelik makinelere daha doğal, daha duyarlı bir görüş sağlayabilecek kompakt, düşük güçlü görüş modüllerine işaret ediyor.

Atıf: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

Anahtar kelimeler: nöromorfik görme, görüntü sensörü, optik hesaplama, uç AI, düşük güçlü robotik