Mesure de forme événementielle précise et rapide pour des scènes à réflectance mixte

Voir ensemble les mondes brillants et mats

Des déverrouillages faciaux sur téléphone aux robots d’usine, de nombreux appareils s’appuient aujourd’hui sur des caméras capables de percevoir la profondeur, pas seulement la couleur. Pourtant ces systèmes butent souvent dans le monde réel, où murs ternes, plastiques brillants et métaux miroirs coexistent côte à côte. Cette recherche présente une nouvelle manière de capturer rapidement et avec grande précision la forme 3D de telles scènes mixtes, en utilisant une caméra « basée sur les événements » et un laser balayé, de sorte que même des objets brillants et en mouvement puissent être mesurés en détail.

Pourquoi les objets brillants sont si difficiles à mesurer

La plupart des caméras 3D sont conçues pour un type de surface à la fois. Les techniques qui projettent des motifs et observent leur déformation fonctionnent bien sur les objets mats, parce que la lumière se diffuse dans de nombreuses directions et est facile à détecter depuis la caméra. Mais elles échouent sur les miroirs et les métaux polis, où la lumière rebondit dans une seule direction, comme une boule de billard sur une table. À l’inverse, les méthodes performantes sur les miroirs, telles que la déflectométrie qui utilise un grand écran comme source connue, peinent avec les objets partiellement brillants et exigent des configurations volumineuses et soigneusement calibrées. Les scènes réelles, comme l’intérieur d’une voiture ou un salon, mêlent tous ces types de surfaces, ce qui rend les systèmes actuels lents, fragiles ou incomplets.

Caméras à événements et faisceaux balayés

Les auteurs construisent un système compact à partir de seulement deux éléments : une caméra basée sur les événements et un laser qui balaye des lignes fines à travers la scène. Contrairement à une caméra normale, qui capture des images complètes à des instants fixes, une caméra à événements ne signale que les pixels où la luminosité change, et le fait avec une précision temporelle microseconde. À mesure que des lignes laser horizontales et verticales parcourent la scène, la caméra enregistre un flux précis « d’événements » indiquant où et quand la lumière s’est déplacée. En combinant ces balayages, le système peut déduire la profondeur des zones diffuses par triangulation, de la même veine que les scanners à lumière structurée mais à plus grande vitesse et avec une meilleure tolérance aux éblouissements et aux variations d’éclairage ambiant.

Transformer chaque mur en écran virtuel

L’idée clé du travail est de réutiliser les parties mates mesurées de la scène comme une sorte d’écran virtuel pour analyser les objets brillants. D’abord, le système reconstruit la géométrie de toutes les surfaces diffuses en utilisant les réflexions directes du laser. Ces surfaces servent ensuite de sources lumineuses : lorsque le laser les frappe, elles diffusent la lumière vers des miroirs et des objets lisses voisins, qui à leur tour renvoient la lumière vers la caméra à événements. En comparant la chronologie et la géométrie de ces chemins à deux rebonds avec ce qui a déjà été appris à partir des surfaces mates, la méthode peut estimer les pentes et les formes des objets spéculaires sans avoir besoin d’un écran physique. En pratique, « tout autour devient un écran », et la couverture des surfaces brillantes peut être augmentée simplement en ajoutant ou en déplaçant des objets diffus ordinaires.

Démêler les multiples trajets possibles de la lumière

Pour que cela fonctionne, le système doit séparer les différents chemins lumineux qui se mélangent dans le flux d’événements. Les auteurs utilisent des règles géométriques, connues sous le nom de contraintes épipolaires, pour décider si un événement détecté provient probablement d’une réflexion à un seul rebond adaptée à la triangulation, d’un trajet à deux rebonds utile pour récupérer la forme spéculaire, ou d’un chemin plus compliqué à plusieurs rebonds ou sous-surface qui doit être ignoré. Ils conçoivent aussi une procédure d’optimisation qui affine la forme des objets brillants afin que les normales de surface inférées concordent avec les directions lumineuses observées. Des tests sur des sphères, des miroirs, des ballons et des jouets brillants montrent que les erreurs de profondeur restent inférieures à 0,6 millimètre sur les surfaces mates et spéculaires, et que le système peut fonctionner à environ 14 images 3D par seconde pour des scènes mixtes et jusqu’à 250 images par seconde pour des scènes purement diffuses.

Ce que cela signifie pour les futures caméras 3D

Cette approche ouvre la voie à une nouvelle classe de capteurs de profondeur capables de gérer des environnements encombrés, réfléchissants et même en mouvement avec un seul appareil compact. En combinant la détection événementielle avec un balayage laser astucieux et en traitant les murs et objets environnants comme des écrans virtuels, la méthode comble un fossé de longue date entre les technologies adaptées soit aux surfaces mates soit aux surfaces miroir. S’il existe encore des limites, comme la dépendance à la présence de matériaux diffus dans la scène ou la gestion de réflexions complexes rares, les résultats suggèrent des pistes pratiques pour une vision 3D plus fiable dans des applications allant des casques AR/VR à l’inspection robotique de pièces industrielles brillantes.

Citation: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

Mots-clés: imagerie 3D, caméra à événements, réflectance mixte, surfaces spéculaires, lumière structurée