Karışık yansıtma sahnelerinin doğru ve hızlı olay tabanlı şekil ölçümü

Parlak ve Mat Dünyaları Birlikte Görmek

Telefonlardaki yüz kilidi özelliğinden fabrika robotlarına kadar pek çok cihaz artık sadece renk değil, derinlik algılayabilen kameralara güveniyor. Yine de bu sistemler, mat duvarların, parlak plastiklerin ve ayna benzeri metallerin yan yana bulunduğu gerçek dünyada sık sık tökezliyor. Bu araştırma, özel bir “olay tabanlı” kamera ve tarayan lazer kullanarak parlak ve hareketli nesneler bile ayrıntılı şekilde ölçülebilecek biçimde, karışık yüzeylere sahip sahnelerin 3B şeklini hızlı ve yüksek doğrulukla yakalamanın yeni bir yolunu sunuyor.

Parlak Nesneleri Ölçmenin Neden Bu Kadar Zor Olduğu

Çoğu 3B kamera aynı anda yalnızca bir tür yüzey için tasarlanmıştır. Desen projeksiyonu yapıp deformasyonlarını izleyen teknikler, ışığın birçok yöne saçıldığı ve kameradan kolayca görülebildiği mat nesnelerde iyi çalışır. Ancak ayna ve cilalı metallerde ışık bilardo topu gibi tek bir yönde sektiği için bu yöntemler başarısız olur. Öte yandan büyük bir ekranı bilinen ışık kaynağı olarak kullanan deflektometri gibi ayna yüzeylerde başarılı olan yöntemler, kısmen parlak nesnelerle başa çıkmakta zorlanır ve hacimli, dikkatlice kalibre edilmiş kurulumlar gerektirir. Araba içleri veya oturma odaları gibi gerçek sahneler bu yüzey türlerinin hepsini karıştırdığı için mevcut sistemler yavaş, kırılgan veya eksik kalıyor.

Olay Kameraları ve Tarayan Işınlar

Yazarlar yalnızca iki parçadan oluşan kompakt bir sistem kuruyor: bir olay tabanlı kamera ve sahne boyunca ince çizgiler süren bir lazer. Sabit zamanlarda tam görüntüler yakalayan normal kameralardan farklı olarak olay kamerası yalnızca parlaklık değişimi olan pikselleri bildirir ve bunu mikro saniye düzeyinde zamanlama ile yapar. Yatay ve dikey lazer çizgileri sahne boyunca tararken, kamera ışığın nerede ve ne zaman hareket ettiğini işaretleyen hassas bir “olay” akışı kaydeder. Bu taramaları birleştirerek sistem, yapılandırılmış ışık tarayıcılarına benzer biçimde mat bölgelerde üçgenleme yoluyla derinliği çıkarabilir; üstelik daha yüksek hız ve parlamaya ile değişen oda aydınlatmasına karşı daha iyi dayanıklılık sağlar.

Her Duvarı Sanal Bir Ekrana Dönüştürmek

Çalışmanın kilit fikri, sahnenin ölçülen mat parçalarını parlak nesneleri analiz etmek için bir tür sanal ekran olarak yeniden kullanmaktır. Önce sistem lazerin doğrudan yansımalarını kullanarak tüm difüz (mat) yüzeylerin geometrisini yeniden oluşturur. Bu yüzeyler daha sonra ışık kaynakları gibi davranır: lazer onlara çarptığında, yakınlardaki aynalara ve parlak nesnelere doğru ışık saçarlar ve bunlar da ışığı olay kamerasına yansıtır. Bu iki-sekme yolunun zamanlamasını ve geometrisini mat yüzeylerden öğrenilenlerle karşılaştırarak yöntem, fiziksel bir ekrana ihtiyaç duymadan parlak nesnelerin eğimleri ve şekillerini tahmin edebilir. Fiilen “etraftaki her şey bir ekran olur” ve parlak yüzeylerin kapsaması sadece günlük difüz nesneler ekleyerek veya yerlerini değiştirerek artırılabilir.

Işığın Gidebileceği Çeşitli Yolları Ayırmak

Bu çalışmanın işlemesi için sistem, olay akışında birbirine karışan farklı ışık yollarını ayrı ayrı ayırmak zorundadır. Yazarlar, tespit edilen bir olayın üçgenleme için uygun tek-sekme bir yansımadan mı, parlak şekil kurtarma için yararlı bir iki-sekme yolundan mı yoksa elenmesi gereken daha karmaşık çok-sekme veya yüzeyaltı bir yoldan mı geldiğine karar vermek için epipolar kısıtları olarak bilinen geometrik kuralları kullanır. Ayrıca çıkarılan yüzey normallerinin gözlemlenen ışık yönleriyle tutarlı olmasını sağlamak üzere parlak nesnelerin şeklini rafine eden bir optimizasyon prosedürü tasarlarlar. Küreler, aynalar, balonlar ve parlak oyuncaklarla yapılan testler, hem mat hem de speküler yüzeylerde derinlik hatalarının 0,6 milimetrenin altında kaldığını ve sistemin karışık sahneler için yaklaşık 14 3B kare/saniye, yalnızca difüz sahneler için ise 250 kare/saniyeye kadar çalışabildiğini gösteriyor.

Geleceğin 3B Kameraları İçin Ne Anlama Geliyor

Bu yaklaşım, tek bir kompakt cihazla dağınık, yansıtıcı ve hatta hareketli ortamları işleyebilen yeni bir derinlik sensörü sınıfına işaret ediyor. Olay tabanlı algılama ile zekice lazer taramayı birleştirip çevredeki duvarları ve nesneleri sanal ekranlar olarak ele alarak, yöntem mat veya ayna benzeri yüzeyler için ayrı ayrı ayarlanmış teknolojiler arasındaki uzun süredir devam eden uçurumu kapatıyor. Sahnedeki bazı difüz malzemelere dayanmamak veya nadir karmaşık yansımalarla başa çıkmak gibi hâlâ sınırlamalar olsa da, sonuçlar AR/VR başlıklarından parlak endüstriyel parçaların robotik denetimine kadar daha güvenilir 3B görme için pratik yollar sunuyor.

Atıf: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

Anahtar kelimeler: 3B görüntüleme, olay kamerası, karışık yansıtma, spektral yüzeyler, yapılandırılmış ışık