Комплементарный подход визуальной локализации и тактильного картирования для роботического восприятия миллиметровых объектов с неровными поверхностями

Роботы, которые могут видеть и ощущать

Во многих опасных местах — от космических станций до зон ядерных аварий — люди полагаются на роботов при обращении с крошечными переключателями, таблетками, винтами и кнопками. Но обычные «глаза» робота часто не справляются при плохом освещении или когда объекты очень малы и неровны. В этой статье представлен сенсорный комплекс для робота, объединяющий зрение и осязание, вдохновлённый тем, как люди сначала всматриваются в предмет, а затем исследуют его кончиками пальцев.

Почему одних только визуальных данных недостаточно

Большинство современных роботов полагаются на камеры и сенсоры глубины для распознавания объектов и планирования движений. Эти визуальные инструменты хорошо работают в чистых, хорошо освещённых цехах, но испытывают трудности, когда сцена тёмная, загромождённая или частично закрыта. Авторы показывают, что даже мощные камеры могут терять малые предметы из вида или не замечать тонкие детали поверхности, особенно при слабом освещении или бликах. В таких случаях робот может примерно знать, где находится объект, но не понимать, есть ли на нём крошечные бугорки, впадины или неровные края — критичные для захвата или точного нажатия.

Создание пальца, способного ощущать мельчайшие детали

Чтобы решить эту проблему, исследователи создали мягкий, похожий на кожу тактильный сенсор, который ведёт себя скорее как кончик человеческого пальца. С помощью струйной печати они напечатали гибкие металлические дорожки на растягиваемом резиноподобном материале, сформировав сетку чувствительных к давлению пикселей. Между металлическими слоями размещена текстурированная плёнка, полученная с использованием обычной наждачной бумаги, что придаёт сенсору тонкую, неровную структуру и повышает его чувствительность. При нажатии на сенсор электрический сигнал меняется в зависимости от давления, позволяя обнаруживать очень лёгкие прикосновения — до размера маленького зерна риса — и выдерживать тысячи циклов нажатия без потери характеристик.

Преобразование осязания в карты формы

Мягкий сенсор затем масштабировали в небольшой массив, способный фиксировать распределение давления по площади, подобно изображению с низким разрешением. Когда команда прижимала на сенсор кольцевые или другие сложные объекты, полученные карты давления чётко выявляли их контуры и пустоты, демонстрируя, что сенсор «видит» форму с помощью осязания. Компьютерные моделирования подтвердили, что мягкий материал локально концентрирует напряжение, подобно человеческой коже, что помогает фиксировать тонкие различия высоты и текстуры на миллиметровых деталях, таких как маленькие бугорки или выступы на поверхности.

Дать зрению и осязанию работать вместе

Полная система использует RGB-Depth камеру для определения положения объекта в пространстве и мягкую тактильную подушку для исследования его поверхности. Сначала камера оценивает позицию и общую форму объекта с расстояния, как человек, мельком глядывающий на стол перед протягиванием руки. Когда визуальная информация становится ненадёжной — из-за теней, бликов или проблем с фокусировкой — робот приводит тактильный сенсор в контакт с объектом. Сканиуя подушку по разным участкам поверхности и объединяя данные о давлении, система восстанавливает трёхмерный профиль признаков всего в несколько миллиметров, например выпуклости таблеток в блистере или небольшие бугры на панели управления.

Что это значит для будущих роботов

Объединяя локализацию на основе камеры с детальным картированием по осязанию, эта работа показывает, как роботы могут обращаться с крошечными, неровными объектами, даже когда они не могут полностью полагаться на «глаза». Исследование демонстрирует, что простой и недорогой печатный сенсор может как подкреплять, так и при необходимости заменять зрение. Это закладывает основу для будущих роботов, которые научатся адаптироваться к меняющимся условиям, сочетая зрение и осязание так же, как люди, чтобы выполнять точные задачи в грязной, непредсказуемой или опасной среде.

Цитирование: Jang, J., Park, BS., Oh, K.T. et al. Complementary visual localization and tactile mapping approach for robotic perception of millimeter-sized objects with irregular surfaces. Microsyst Nanoeng 12, 91 (2026). https://doi.org/10.1038/s41378-026-01190-8

Ключевые слова: гуманоидные роботы, тактильное восприятие, мультимодальное восприятие, микроманипулирование, RGB-глубинное зрение