Dokładne i szybkie pomiarowanie kształtu w scenach o mieszanym odbiciu za pomocą zdarzeń

Wspólne oglądanie światów błyszczących i matowych

Od odblokowywania telefonów twarzą po roboty przemysłowe — wiele urządzeń korzysta dziś z kamer potrafiących mierzyć głębię, nie tylko kolor. Tym niemniej systemy te często zawodzą w realnych warunkach, gdzie obok siebie występują matowe ściany, błyszczące tworzywa i metalowe powierzchnie przypominające lustra. Badanie przedstawia nowy sposób szybkiego i dokładnego uchwycenia kształtu 3D takich mieszanych scen, wykorzystując specjalną kamerę „zdarzeniową” i skanujący laser, dzięki czemu nawet błyszczące i poruszające się obiekty można zmierzyć szczegółowo.

Dlaczego trudno mierzyć błyszczące obiekty

Większość kamer 3D została zaprojektowana pod kątem jednego rodzaju powierzchni. Techniki rzutujące wzory i obserwujące ich deformacje sprawdzają się na obiektach matowych, ponieważ światło rozprasza się we wielu kierunkach i łatwo je zarejestrować. Zawodzą jednak na lustrach i wypolerowanym metalu, gdzie światło odbija się w jednym kierunku, jak bila na stole bilardowym. Z drugiej strony metody skuteczne na lustrach, np. deflektometria z dużym wyświetlaczem jako znanym źródłem światła, mają problemy z częściowo błyszczącymi obiektami i wymagają masywnych, precyzyjnie skalibrowanych układów. Rzeczywiste sceny — wnętrza samochodów czy salony — łączą wszystkie te typy powierzchni, co sprawia, że dzisiejsze systemy są powolne, kruche lub niepełne.

Kamery zdarzeniowe i skanujące wiązki

Autorzy zbudowali kompaktowy system z zaledwie dwóch elementów: kamery zdarzeniowej i lasera, który przesuwa cienkie linie po scenie. W odróżnieniu od zwykłej kamery, rejestrującej pełne obrazy w stałych odstępach czasu, kamera zdarzeniowa raportuje tylko piksele, w których zmieniła się jasność, i robi to z dokładnością mikrosekundową. Gdy poziome i pionowe linie lasera przemieszczają się po scenie, kamera zapisuje precyzyjny strumień „zdarzeń” wskazujących, gdzie i kiedy światło się przemieszczało. Łącząc te przesunięcia, system może wnioskować o głębi na obszarach matowych przez triangulację — podobnie jak skanery ze strukturalnym oświetleniem, ale szybciej i z lepszą odpornością na odblaski oraz zmienne oświetlenie otoczenia.

Przekształcanie każdej ściany w wirtualny ekran

Kluczowy pomysł pracy polega na wykorzystaniu zmierzonych matowych fragmentów sceny jako swego rodzaju wirtualnego wyświetlacza do analizy obiektów błyszczących. Najpierw system rekonstruuje geometrię wszystkich dyfuzyjnych powierzchni, wykorzystując bezpośrednie odbicia lasera. Te powierzchnie następnie działają jak źródła światła: gdy trafia w nie laser, rozpraszają światło w kierunku sąsiednich luster i błyszczących przedmiotów, które z kolei odbijają światło do kamery zdarzeniowej. Porównując czas i geometrię takich dwuodbijowych ścieżek z tym, co już odczytano z powierzchni matowych, metoda potrafi oszacować nachylenia i kształty obiektów spekularnych bez potrzeby fizycznego ekranu. W praktyce „wszystko wokół staje się ekranem”, a zasięg pomiaru powierzchni błyszczących można zwiększyć po prostu dodając lub przesuwając zwykłe dyfuzyjne obiekty.

Rozróżnianie wielu dróg, którymi może podróżować światło

Aby to działało, system musi rozdzielić różne ścieżki światła mieszające się w strumieniu zdarzeń. Autorzy wykorzystują reguły geometryczne, znane jako ograniczenia epipolarne, by zdecydować, czy wykryte zdarzenie pochodzi prawdopodobnie z odbicia jednorazowego odpowiedniego do triangulacji, z drogi dwuodbijowej przydatnej do odtwarzania kształtu spekularnego, czy z bardziej złożonej wielokrotnej transmisji lub odbicia podpowierzchniowego, którą należy odrzucić. Zaprojektowali też procedurę optymalizacji, która dopracowuje kształt błyszczących obiektów tak, by wyliczone normalne powierzchni zgadzały się z zaobserwowanymi kierunkami światła. Testy na sferach, lustrach, balonach i błyszczących zabawkach wykazują, że błędy głębi utrzymują się poniżej 0,6 mm zarówno dla powierzchni matowych, jak i spekularnych, a system może działać z szybkością około 14 klatek 3D na sekundę dla scen mieszanych i do 250 kl./s dla scen wyłącznie dyfuzyjnych.

Co to znaczy dla przyszłych kamer 3D

To podejście wskazuje drogę do nowej klasy czujników głębi, które poradzą sobie z zatłoczonymi, refleksyjnymi, a nawet poruszającymi się środowiskami za pomocą jednego kompaktowego urządzenia. Łącząc czujniki zdarzeniowe z pomysłowym skanowaniem laserowym i traktując otaczające ściany oraz obiekty jako wirtualne ekrany, metoda wypełnia długo istniejącą lukę między technikami nastawionymi na powierzchnie matowe lub lustrzane. Choć ograniczenia pozostają — np. konieczność obecności części dyfuzyjnej w scenie czy radzenie sobie z rzadkimi, złożonymi odbiciami — wyniki sugerują praktyczne ścieżki do bardziej niezawodnego widzenia 3D w zastosowaniach od hełmów AR/VR po inspekcję robotyczną błyszczących części przemysłowych.

Cytowanie: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

Słowa kluczowe: obrazowanie 3D, kamera zdarzeniowa, mieszane odbicie, powierzchnie lustrzane, oświetlenie strukturalne