Medición de forma basada en eventos, precisa y rápida, de escenas con reflectancia mixta

Viendo mundos brillantes y mates juntos

Desde el desbloqueo facial en teléfonos hasta robots de fábrica, muchos dispositivos actuales dependen de cámaras que detectan profundidad, no solo color. Sin embargo, estos sistemas suelen fallar en el mundo real, donde paredes opacas, plásticos brillantes y metales tipo espejo conviven. Esta investigación presenta una nueva forma de capturar la forma 3D de escenas mezcladas con rapidez y alta precisión, usando una cámara “basada en eventos” y un láser de barrido para que incluso objetos brillantes y en movimiento puedan medirse en detalle.

Por qué es tan difícil medir objetos brillantes

La mayoría de las cámaras 3D están diseñadas para un tipo de superficie a la vez. Las técnicas que proyectan patrones y observan cómo se deforman funcionan bien en objetos mates, porque la luz se dispersa en muchas direcciones y es fácil de detectar desde la cámara. Pero fallan con espejos y metales pulidos, donde la luz rebota en una sola dirección, como una bola en una mesa de billar. Por otro lado, métodos que sobresalen en espejos, como la deflectometría usando una gran pantalla como fuente conocida de luz, tienen problemas con objetos parcialmente brillantes y requieren configuraciones voluminosas y cuidadosamente calibradas. Las escenas reales, como interiores de coches o salones, mezclan todos estos tipos de superficie, lo que hace que los sistemas actuales sean lentos, frágiles o incompletos.

Cámaras de eventos y haces de barrido

Los autores construyen un sistema compacto con solo dos elementos: una cámara basada en eventos y un láser que barre líneas delgadas por la escena. A diferencia de una cámara normal, que captura imágenes completas en tiempos fijos, una cámara de eventos solo reporta los píxeles donde cambia el brillo, y lo hace con sincronización en microsegundos. A medida que las líneas láser horizontales y verticales recorren la escena, la cámara registra un flujo preciso de “eventos” que marcan dónde y cuándo se movió la luz. Al combinar estos barridos, el sistema puede inferir la profundidad en áreas mates mediante triangulación, similar en espíritu a los escáneres de luz estructurada pero con mayor velocidad y mejor tolerancia al deslumbramiento y a cambios en la iluminación ambiental.

Convertir cada pared en una pantalla virtual

La idea clave del trabajo es reutilizar las partes mates medidas de la escena como una especie de pantalla virtual para analizar objetos brillantes. Primero, el sistema reconstruye la geometría de todas las superficies difusas usando las reflexiones directas del láser. Esas superficies actúan luego como fuentes de luz: cuando el láser las alcanza, dispersan luz hacia espejos y objetos brillantes cercanos, que a su vez reflejan la luz hacia la cámara de eventos. Comparando el tiempo y la geometría de estos recorridos de dos rebotes con lo ya aprendido de las superficies mates, el método puede estimar las pendientes y formas de objetos especulares sin necesitar ninguna pantalla física. En efecto, “todo alrededor se convierte en una pantalla”, y la cobertura de superficies brillantes puede aumentarse simplemente añadiendo o moviendo objetos difusos cotidianos.

Separando las muchas maneras en que la luz puede viajar

Para que esto funcione, el sistema debe separar los diferentes caminos de luz que se mezclan en el flujo de eventos. Los autores usan reglas geométricas, conocidas como restricciones epipolares, para decidir si un evento detectado probablemente proviene de una reflexión de un solo rebote adecuada para triangulación, de un camino de dos rebotes útil para recuperar la forma especular, o de un recorrido más complicado de múltiples rebotes o subsuperficie que debe descartarse. También diseñan un procedimiento de optimización que refina la forma de los objetos brillantes para que las normales superficiales inferidas concuerden con las direcciones de luz observadas. Pruebas con esferas, espejos, globos y juguetes brillantes muestran que los errores de profundidad se mantienen por debajo de 0,6 milímetros tanto en superficies mates como en especulares, y que el sistema puede operar alrededor de 14 fotogramas 3D por segundo para escenas mixtas y hasta 250 fotogramas por segundo para escenas puramente difusas.

Qué significa esto para las futuras cámaras 3D

Este enfoque apunta a una nueva clase de sensores de profundidad capaces de manejar entornos desordenados, reflectantes e incluso en movimiento con un solo dispositivo compacto. Al combinar el sensado basado en eventos con un barrido láser ingenioso y al tratar paredes y objetos circundantes como pantallas virtuales, el método salva una brecha de larga data entre tecnologías optimizadas para superficies mates o tipo espejo. Aunque aún existen límites, como depender de cierta cantidad de material difuso en la escena y lidiar con reflexiones complejas poco frecuentes, los resultados sugieren caminos prácticos para una visión 3D más fiable en aplicaciones que van desde cascos AR y VR hasta la inspección robótica de piezas industriales brillantes.

Cita: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

Palabras clave: imagen 3D, cámara de eventos, reflectancia mixta, superficies especulares, luz estructurada