Misurazione della forma basata su eventi, precisa e veloce, di scene a riflettanza mista

Vedere mondi lucidi e opachi insieme

Dallo sblocco del telefono con il volto ai robot di fabbrica, molti dispositivi oggi si affidano a telecamere che rilevano la profondità, non solo il colore. Tuttavia questi sistemi spesso inciampano nel mondo reale, dove pareti opache, plastiche lucide e metalli speculari convivono fianco a fianco. Questa ricerca presenta un nuovo modo per acquisire la forma 3D di scene miste in modo rapido e con elevata accuratezza, usando una speciale telecamera “basata su eventi” e un laser scansionante, così che anche oggetti lucidi e in movimento possano essere misurati nei dettagli.

Perché gli oggetti lucidi sono così difficili da misurare

La maggior parte delle telecamere 3D è progettata per un solo tipo di superficie alla volta. Le tecniche che proiettano pattern e osservano come si deformano funzionano bene su oggetti opachi, perché la luce si diffonde in molte direzioni ed è facile da vedere dalla telecamera. Ma falliscono su specchi e metalli lucidi, dove la luce rimbalza in una sola direzione, come una palla da biliardo sul tavolo. Dall’altra parte, i metodi che eccellono sui materiali speculari, come la deflettometria che usa un grande display come sorgente luminosa nota, faticano con oggetti parzialmente lucidi e richiedono apparecchiature ingombranti e accuratamente calibrate. Scene reali, come gli interni delle auto o i soggiorni, mescolano tutti questi tipi di superficie, rendendo i sistemi odierni lenti, fragili o incompleti.

Telecamere ad eventi e fasci scansionanti

Gli autori costruiscono un sistema compatto composto solo da due parti: una telecamera basata su eventi e un laser che spazza sottili linee attraverso la scena. A differenza di una telecamera normale, che cattura immagini complete a tempi fissi, una telecamera ad eventi riporta solo i pixel in cui cambia la luminosità, e lo fa con tempistiche dell’ordine dei microsecondi. Mentre linee laser orizzontali e verticali scorrono sulla scena, la telecamera registra un flusso preciso di “eventi” che segnano dove e quando la luce si è spostata. Combinando queste scansioni, il sistema può inferire la profondità nelle aree opache tramite triangolazione, simile nello spirito agli scanner a luce strutturata ma con maggiore velocità e migliore tolleranza all’abbagliamento e ai cambiamenti di illuminazione ambientale.

Trasformare ogni parete in uno schermo virtuale

L’idea chiave del lavoro è riutilizzare le parti opache misurate della scena come una sorta di display virtuale per analizzare gli oggetti lucidi. Innanzitutto, il sistema ricostruisce la geometria di tutte le superfici diffuse usando le riflessioni dirette del laser. Queste superfici quindi agiscono come sorgenti luminose: quando il laser le colpisce, disperdono luce verso specchi e oggetti lucidi vicini, i quali a loro volta riflettono la luce nella telecamera ad eventi. Confrontando il tempo e la geometria di questi percorsi a due rimbalzi con ciò che è già stato appreso dalle superfici opache, il metodo può stimare le pendenze e le forme degli oggetti speculari senza necessità di alcuno schermo fisico. In pratica, “tutto intorno diventa uno schermo” e la copertura delle superfici lucide può essere aumentata semplicemente aggiungendo o spostando oggetti diffusi di uso quotidiano.

Districare i molteplici modi in cui la luce può viaggiare

Per far funzionare il sistema, è necessario separare i diversi percorsi della luce che si mescolano nel flusso di eventi. Gli autori usano regole geometriche, note come vincoli epipolari, per decidere se un evento rilevato proviene probabilmente da una riflessione a rimbalzo singolo adatta alla triangolazione, da un percorso a due rimbalzi utile al recupero della forma speculare, o da un percorso più complesso a rimbalzi multipli o subsuperficie che deve essere scartato. Progettano inoltre una procedura di ottimizzazione che affina la forma degli oggetti lucidi in modo che le normali superficiali inferite concordino con le direzioni della luce osservate. Test con sfere, specchi, palloncini e giocattoli lucidi mostrano che gli errori di profondità rimangono sotto i 0,6 millimetri sia su superfici opache sia speculari, e che il sistema può operare a circa 14 frame 3D al secondo per scene miste e fino a 250 frame al secondo per scene puramente diffuse.

Cosa significa questo per le future telecamere 3D

Questo approccio indica una nuova classe di sensori di profondità in grado di gestire ambienti disordinati, riflettenti e persino in movimento con un unico dispositivo compatto. Combinando il sensing basato su eventi con una scansione laser intelligente e trattando pareti e oggetti circostanti come schermi virtuali, il metodo colma un divario di lunga data tra tecnologie ottimizzate per superfici opache o per superfici speculari. Pur restando limiti, come la dipendenza da una certa quantità di materiale diffuso nella scena e la gestione di riflessioni complesse e rare, i risultati suggeriscono percorsi pratici per una visione 3D più affidabile in applicazioni che vanno dai visori AR e VR all’ispezione robotica di pezzi industriali lucidi.

Citazione: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

Parole chiave: imaging 3D, telecamera ad eventi, riflettanza mista, superfici speculari, luce strutturata