基于事件的混合反射场景的快速精确形状测量

同时看见光亮与哑光的世界

从手机面部解锁到工厂机器人，许多设备现在依赖能感知深度而非仅颜色的相机。然而，这些系统在现实世界中常常遇到麻烦，那里哑光墙面、光亮塑料和镜面金属往往并存。本文提出了一种新方法，使用特殊的“事件式”相机和扫描激光，以快速且高精度地捕捉此类混合场景的三维形状，即便是光滑或移动的物体也能被详细测量。

为什么光亮物体难以测量

大多数三维相机针对的是单一类型的表面。投影图案并观察其变形的技术在哑光物体上效果良好，因为光向多个方向散射，能被相机容易地捕捉到。但在镜面和抛光金属上则会失败，那里的光像台球一样沿单一方向反射。另一方面，擅长处理镜面的技术（例如使用大屏幕作为已知光源的偏折测量）在部分有光泽的物体上表现欠佳，而且需要笨重且精密校准的装置。真实场景，如汽车内饰或客厅，混合了各种表面类型，这使得现有系统显得缓慢、脆弱或不完整。

事件相机与扫描光束

作者构建了一个由两部分组成的紧凑系统：一台事件相机和一束在场景上扫过细线的激光。与在固定时刻捕捉完整图像的普通相机不同，事件相机仅报告亮度发生变化的像素，并以微秒级时间分辨率记录。当水平和垂直的激光线扫过场景时，相机记录一系列精确的“事件”，标记光线何时何地移动。通过组合这些扫描，系统可以对哑光区域进行三角测量式的深度推断，类似于结构光扫描器，但速度更快，对眩光和室内光照变化的容忍度更高。

把每面墙都变成虚拟屏幕

这项工作的关键思想是将测得的哑光部分重用为分析光滑物体的虚拟显示屏。首先，系统利用激光的直接反射重建所有漫反射表面的几何形状。那些表面随后充当光源：当激光照射它们时，它们向附近的镜面和光泽物体散射光，这些物体又把光反射到事件相机。通过将这些二次反射路径的时序和几何与已从哑光表面学到的信息进行比较，该方法可以在不依赖任何物理屏幕的情况下估计镜面物体的斜率和形状。实际上，“周围的一切都成为了屏幕”，只要添加或移动日常的漫反射物体，就能增加对光滑表面的覆盖率。

分辨光的多种传播方式

为使该方法奏效，系统必须在事件流中分离出相互混合的不同光路径。作者使用称为极线约束的几何规则，来判断检测到的事件更可能来自适合三角测量的单次反射、用于镜面形状恢复的二次反射，还是应被丢弃的更复杂的多次反射或次表面路径。他们还设计了一种优化过程，细化光滑物体的形状，使推断的表面法线与观测到的光线方向一致。对球体、镜子、气球和光泽玩具的测试表明，哑光和镜面表面的深度误差均保持在0.6毫米以下，并且系统在混合场景下可达到约14帧每秒的三维帧率，在纯漫反射场景下最高可达250帧每秒。

这对未来三维相机意味着什么

该方法指向一类新型深度传感器，能够用单一紧凑设备处理杂乱、有反射乃至运动的环境。通过将事件式感测与巧妙的激光扫描相结合，并将周围墙面和物体视作虚拟屏幕，该方法弥合了长期存在的为哑光或镜面表面分别优化的技术之间的鸿沟。尽管仍有局限，例如依赖场景中存在某些漫反射材料并需应对罕见的复杂反射，但结果表明了在从增强现实与虚拟现实头显到对光亮工业零件的机器人检测等应用中实现更可靠三维视觉的可行路径。

引用: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

关键词: 三维成像, 事件相机, 混合反射, 镜面表面, 结构光