Exakt och snabb händelsebaserad formmätning av scener med blandad reflektivitet

Att se blanka och matta världar tillsammans

Från upplåsning med ansiktsigenkänning i mobilen till fabriksrobotar förlitar sig många system idag på kameror som kan mäta djup, inte bara färg. Dessa system stöter ändå ofta på problem i verkligheten, där matt målade väggar, glänsande plaster och spegelliknande metaller kan ligga sida vid sida. Denna forskning presenterar ett nytt sätt att fånga 3D‑formen av sådana blandade scener snabbt och med hög noggrannhet, genom att använda en specialiserad ”händelsebaserad” kamera och en skannande laser så att även blanka och rörliga objekt kan mätas i detalj.

Varför blanka saker är så svåra att mäta

De flesta 3D‑kameror är byggda för en typ av yta åt gången. Metoder som projicerar mönster och observerar hur de deformeras fungerar väl på matta objekt, eftersom ljuset sprids åt många håll och är lätt att se från kameran. Men de misslyckas på speglar och polerat metall, där ljuset reflekteras i en enda riktning som ett biljardklot mot poolbordets kanter. Å andra sidan kämpar metoder som är bra för speglar, till exempel deflektometri med en stor display som känd ljuskälla, med delvis blanka objekt och kräver ofta skrymmande, noggrant kalibrerade uppställningar. Verkliga scener, som bilinteriörer eller vardagsrum, blandar alla dessa yttyper, vilket gör dagens system långsamma, känsliga eller ofullständiga.

Händelsekameror och skannande strålar

Författarna bygger ett kompakt system av endast två delar: en händelsebaserad kamera och en laser som sveper tunna linjer över scenen. Till skillnad från en vanlig kamera, som fångar fullständiga bilder vid fasta tidpunkter, rapporterar en händelsekamera endast pixlar där ljusstyrkan förändras, och gör det med mikrosekundernas tidsnoggrannhet. När horisontella och vertikala laserränder sveper över scenen registrerar kameran en exakt ström av ”händelser” som markerar var och när ljuset rörde sig. Genom att kombinera dessa svep kan systemet utvinna djup i matta områden genom triangulering, liknande principen hos strukturerade‑ljus‑skannrar men snabbare och med bättre tolerans för bländning och varierande rumsljus.

Att förvandla varje vägg till en virtuell skärm

Nyckelidén i arbetet är att återanvända de uppmätta matta delarna av scenen som en slags virtuell display för att analysera blanka objekt. Först rekonstruerar systemet geometrin hos alla diffusreflekterande ytor med hjälp av direktreflektioner från lasern. Dessa ytor fungerar sedan som ljuskällor: när lasern träffar dem sprider de ljus mot närliggande speglar och blanka föremål, som i sin tur reflekterar ljuset in i händelsekameran. Genom att jämföra tidpunkten och geometrin för dessa tvåstegsbanor med vad som redan lärts om de matta ytorna kan metoden uppskatta lutningar och former hos spekulära objekt utan att behöva någon fysisk skärm. I praktiken blir ”allt runt omkring en skärm”, och täckningen av blanka ytor kan ökas enkelt genom att lägga till eller flytta vardagliga diffusa föremål.

Att reda ut de många sätt ljus kan färdas på

För att detta ska fungera måste systemet separera olika ljusvägar som alla blandas i händelseströmmen. Författarna använder geometriska regler, kända som epipolära begränsningar, för att avgöra om en upptäckt händelse troligen kommer från en enkelreflektion lämpad för triangulering, en tvåstegs‑bana användbar för återställning av spekulär form, eller en mer komplicerad flerstegs‑ eller underliggande diffusionsbana som bör kasseras. De utformar också en optimeringsprocedur som förfinar formen hos blanka objekt så att de härledda ytnormalerna överensstämmer med de observerade ljusriktningarna. Tester med klot, speglar, ballonger och blanka leksaker visar att djupfelen håller sig under 0,6 millimeter på både matta och spekulära ytor, och att systemet kan arbeta i ungefär 14 3D‑bilder per sekund för blandade scener och upp till 250 bilder per sekund för rent diffusa scener.

Vad detta betyder för framtidens 3D‑kameror

Denna metod pekar mot en ny klass av djupsensorer som kan hantera röriga, reflekterande och till och med rörliga miljöer med en enda kompakt enhet. Genom att kombinera händelsebaserad avkänning med smart laserskanning och genom att betrakta omgivande väggar och föremål som virtuella skärmar, överbryggar metoden en långvarig klyfta mellan tekniker som är anpassade för antingen matta eller spegelliknande ytor. Även om det fortfarande finns begränsningar, såsom beroendet av någon diffus materialyta i scenen och hantering av sällsynta komplexa reflektioner, tyder resultaten på praktiska vägar mot mer pålitlig 3D‑vision i tillämpningar från AR‑ och VR‑headset till robotisk inspektion av blanka industridelar.

Citering: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

Nyckelord: 3D‑avbildning, händelsekamera, blandad reflektivitet, speglande ytor, strukturerat ljus