Nauwkeurige en snelle gebeurtenisgestuurde vormmeting van scènes met gemengde reflecties

Glanzende en matte werelden samen zien

Van gezichtsontgrendeling op telefoons tot fabrieksrobots: veel apparaten vertrouwen tegenwoordig op camera’s die niet alleen kleur maar ook diepte meten. Toch struikelen deze systemen vaak in de echte wereld, waar doffe muren, glanzende kunststoffen en spiegelende metalen naast elkaar bestaan. Dit onderzoek presenteert een nieuwe manier om de 3D-vorm van zulke gemengde scènes snel en met hoge nauwkeurigheid vast te leggen, met een speciale "gebeurtenisgestuurde" camera en een scanlaser, zodat zelfs glanzende en bewegende objecten in detail gemeten kunnen worden.

Waarom glanzende dingen zo moeilijk te meten zijn

De meeste 3D-camera’s zijn ontworpen voor één type oppervlak tegelijk. Technieken die patronen projecteren en volgen hoe die vervormen werken goed op matte objecten, omdat licht diffuus verstrooit en gemakkelijk door de camera wordt waargenomen. Maar ze falen bij spiegels en gepolijst metaal, waar licht in één richting terugkaatst alsof het een biljartbal is. Aan de andere kant doen methoden die goed zijn voor spiegels, zoals deflectometrie met een groot scherm als bekende lichtbron, het slecht bij deels glanzende objecten en vereisen ze omvangrijke, nauwkeurig gekalibreerde opstellingen. In echte scènes, zoals interieur van auto’s of woonkamers, komen al deze oppervlaktetypes samen, waardoor huidige systemen traag, kwetsbaar of onvolledig zijn.

Gebeurteniscamera’s en scannende bundels

De auteurs bouwen een compacte opstelling uit slechts twee onderdelen: een gebeurteniscamera en een laser die dunne lijnen over de scène veegt. In tegenstelling tot een normale camera die volledige beelden op vaste momenten vastlegt, rapporteert een gebeurteniscamera alleen die pixels waar de helderheid verandert, en dat met microseconden nauwkeurigheid. Terwijl horizontale en verticale laserlijnen over de scène bewegen, registreert de camera een precieze stroom van "events" die aangeven waar en wanneer het licht bewoog. Door deze sweeps te combineren kan het systeem diepte afleiden op matte gebieden via triangulatie, vergelijkbaar met gestructureerde-lichtscanners, maar met hogere snelheid en betere tolerantie voor schittering en veranderende omgevingsverlichting.

Elke muur als virtueel scherm gebruiken

De kernidee is om de gemeten matte delen van de scène opnieuw te gebruiken als een soort virtueel scherm om glanzende objecten te analyseren. Eerst reconstrueert het systeem de geometrie van alle diffuse oppervlakken met behulp van de directe reflecties van de laser. Die oppervlakken fungeren vervolgens als lichtbronnen: wanneer de laser ze raakt, verstrooien ze licht naar nabijgelegen spiegels en glanzende objecten, die op hun beurt licht naar de gebeurteniscamera terugkaatsen. Door de timing en geometrie van deze tweebounce-paden te vergelijken met wat al van de matte oppervlakken is geleerd, kan de methode de hellingen en vormen van speculaire objecten schatten zonder een fysiek scherm nodig te hebben. In feite wordt "alles om je heen een scherm", en kan de dekking van glanzende oppervlakken eenvoudig worden vergroot door alledaagse diffuse objecten toe te voegen of te verplaatsen.

De vele paden die licht kan nemen ontleden

Om dit te laten werken moet het systeem verschillende lichtpaden scheiden die allemaal in de event-stroom vermengd raken. De auteurs gebruiken geometrische regels, bekend als epipolaire beperkingen, om te bepalen of een gedetecteerd event waarschijnlijk afkomstig is van een één-keer reflectie geschikt voor triangulatie, een tweebounce-pad nuttig voor het terugwinnen van speculaire vormen, of een complexer meermaals bounce- of subsurface-pad dat verworpen moet worden. Ze ontwerpen ook een optimalisatieprocedure die de vorm van glanzende objecten verfijnt zodat de afgeleide oppervlaknormaalvectoren overeenkomen met de waargenomen lichtrichtingen. Tests met bollen, spiegels, ballonnen en glanzende speelgoedjes tonen aan dat dieptefouten onder de 0,6 millimeter blijven op zowel matte als speculaire oppervlakken, en dat het systeem ongeveer 14 3D-frames per seconde haalt voor gemengde scènes en tot 250 frames per seconde voor puur diffuse scènes.

Wat dit betekent voor toekomstige 3D-camera’s

Deze aanpak wijst op een nieuwe klasse dieptesensoren die rommelige, reflecterende en zelfs bewegende omgevingen met één compact apparaat aankunnen. Door gebeurtenisgestuurde waarneming te combineren met slimme laserscanning en door omliggende muren en objecten als virtuele schermen te gebruiken, overbrugt de methode een lang bestaand gat tussen technologieën die zijn afgestemd op ofwel matte ofwel spiegelachtige oppervlakken. Hoewel er nog beperkingen zijn, zoals het afhankelijk zijn van enige diffuse materialen in de scène en het omgaan met zeldzame complexe reflecties, suggereren de resultaten praktische wegen naar betrouwbaardere 3D-visie in toepassingen variërend van AR- en VR-headsets tot robotinspectie van glanzende industrieel onderdelen.

Bronvermelding: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

Trefwoorden: 3D-beeldvorming, gebeurteniscamera, gemengde reflectie, speculaire oppervlakken, gestructureerd licht