Точное и быстрое измерение формы по событиям в сценах со смешенным отражением

Видеть блестящее и матовое вместе

От разблокировки по лицу в телефонах до заводских роботов — многие устройства сейчас полагаются на камеры, определяющие глубину, а не только цвет. Однако такие системы часто даются нелегко в реальном мире, где матовые стены, глянцевые пластики и зеркальные металлы стоят рядом. В этой работе представлен новый способ быстрого и высокоточного захвата 3D-формы таких смешанных сцен с помощью специальной «событийной» камеры и сканирующего лазера, позволяющий измерять даже блестящие и движущиеся объекты в деталях.

Почему блестящие вещи так трудно измерить

Большинство 3D-камер рассчитаны на один тип поверхности за раз. Техники, которые проецируют узоры и отслеживают их деформацию, хорошо работают на матовых объектах, потому что свет рассеивается во многих направлениях и легко виден камерой. Но они не срабатывают на зеркалах и полированном металле, где свет отражается в одном направлении, как шар для бильярда на столе. С другой стороны, методы, которые преуспевают на зеркалах, например дефлектометрия с использованием большого дисплея как известного источника света, испытывают трудности с частично блестящими объектами и требуют громоздких, тщательно калиброванных установок. Реальные сцены, такие как салон автомобиля или гостиная, смешивают все эти типы поверхностей, что делает современные системы медленными, хрупкими или неполными.

Событийные камеры и сканирующие лучи

Авторы собрали компактную систему всего из двух частей: событийной камеры и лазера, который прочерчивает тонкие линии по сцене. В отличие от обычной камеры, делающей полные снимки в фиксированные моменты, событийная камера сообщает только те пиксели, где изменяется яркость, и делает это с микросекундной точностью по времени. Пока горизонтальные и вертикальные лазерные линии проходят по сцене, камера записывает точный поток «событий», отмечая где и когда свет двигался. Сочетая эти сканирования, система может определять глубину в матовых областях через триангуляцию, в духе сканеров со структурированным светом, но быстрее и с большей устойчивостью к бликам и меняющемуся освещению помещения.

Превращение каждой стены в виртуальный экран

Ключевая идея работы — повторно использовать измеренные матовые части сцены как нечто вроде виртуального дисплея для анализа блестящих объектов. Сначала система восстанавливает геометрию всех диффузных поверхностей, используя прямые отражения лазера. Эти поверхности затем действуют как источники света: когда лазер попадает в них, они рассеивают свет в сторону соседних зеркал и глянцевых предметов, которые, в свою очередь, отражают свет в событийную камеру. Сопоставляя время и геометрию этих двухскачковых путей с тем, что уже было узнано о матовых поверхностях, метод может оценить наклоны и формы спекулярных объектов без необходимости физического экрана. Фактически «всё вокруг становится экраном», и покрытие блестящих поверхностей можно увеличить просто добавлением или перемещением обычных диффузных предметов.

Разделение множества путей света

Чтобы это работало, система должна отделить разные световые пути, которые смешиваются в потоке событий. Авторы используют геометрические правила, известные как эпиполярные ограничения, чтобы решить, исходит ли обнаруженное событие скорее от односкокового отражения, подходящего для триангуляции, от двухскокового пути, полезного для восстановления спекулярной формы, или от более сложного многоскокового или подповерхностного пути, который следует отбросить. Они также разработали процедуру оптимизации, уточняющую форму блестящих объектов так, чтобы полученные нормали поверхности согласовывались с наблюдаемыми направлениями света. Испытания со сферами, зеркалами, шарами и глянцевыми игрушками показывают, что ошибки по глубине остаются ниже 0,6 мм как на матовых, так и на спекулярных поверхностях, а система может работать примерно с 14 3D-кадрами в секунду для смешанных сцен и до 250 кадров в секунду для чисто диффузных сцен.

Что это значит для будущих 3D-камер

Подход указывает на новый класс датчиков глубины, способных обрабатывать захламленные, отражающие и даже движущиеся среды с помощью одного компактного устройства. Сочетая событийное восприятие с продуманным сканированием лазером и рассматривая окружающие стены и предметы как виртуальные экраны, метод закрывает давний разрыв между технологиями, настроенными либо на матовые, либо на зеркальные поверхности. Хотя остаются ограничения — например, зависимость от наличия некоторого диффузного материала в сцене и необходимость обращения с редкими сложными отражениями — результаты указывают на практические пути к более надежному 3D-зрению в приложениях от AR/VR-гарнитур до роботизированной инспекции блестящих промышленных деталей.

Цитирование: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

Ключевые слова: 3D-сканирование, событийная камера, смешенное отражение, спекулярные поверхности, структурированный свет