Слияние сенсоров осязания и зрения в мягких манипуляторах для сбора фруктов

Нежные роботы для хрупких фруктов

Любой, кто приносил домой помятые клубники, знает, как легко можно повредить нежные плоды. Фермеры сталкиваются с той же проблемой в масштабах хозяйства, теряя значительную долю урожая из‑за неправильного времени сбора или грубой обработки. В этом исследовании представлен мягкий, набитый сенсорами роботизированный захват, который видит и чувствует фрукты так, как это делает человек‑сборщик, благодаря чему он может собирать такие культуры, как клубника и авокадо, аккуратно, быстро и с гораздо меньшими потерями.

Почему мягкие «руки» важны в поле

Многие фрукты дают лишь тонкие подсказки о зрелости. Одни, как цитрусовые, медленно меняют цвет и остаются твердыми неделями; другие, например ягоды, быстро размягчаются и могут испортиться за считанные дни. Только по цвету часто трудно судить, а нажатие рукой рискует вызвать синяки. Люди‑сборщики давно сочетают зрение и осязание, но у производителей сейчас наблюдается нехватка рабочей силы и гигантские масштабы проверки. Существующие полевые роботы в основном полагаются на жесткие металлические захваты и камеры, расположенные далеко от плодов, что затрудняет точную оценку цвета, размера и твердости и все равно может повредить нежную продукцию.

Зрение и осязание в одном компактном захвате

Исследователи создали рукоподобный захват в форме звезды с пятью мягкими «пальцами», расположенными вокруг центральной «ладони». Каждый палец сделан из гибкого резинообразного материала, который сгибается при подаче воздуха внутрь. Внутри пальцев скрыты прозрачные пластиковые волокна, которые направляют свет; изменения этого света показывают, насколько согнулся каждый палец и с какой силой он давит на предмет. На кончиках пальцев U‑образные волокна служат сенсорами прикосновения, сообщая системе, держит ли она что‑то мягкое или твердое. В ладони расположены крошечная камера и датчик расстояния рядом друг с другом, обеспечивая крупный план каждого фрукта и измеряя, какого он размера. Все это объединено малыми платами и компьютером, которые собирают сигналы в целостную картину того, что захват видит и ощущает.

Как мягкая рука справляется с фруктами

Чтобы понять, на что способно устройство, команда сначала измерила механические характеристики руки. Мягкие пальцы сгибаются примерно до двух третей полного круга, при этом поведение соответствует компьютерным моделям, а захват может сомкнуться вокруг объектов менее чем за две секунды. Он способен поднимать до одного килограмма — более чем в шестнадцать раз превышая собственный вес — и его размах увеличивается от небольшого центрального отверстия до площади, достаточной для охвата многих типов фруктов. Система зрения правильно идентифицировала простые формы, такие как кубы и сферы, почти в каждом случае и оценивала их размер с погрешностью всего в несколько процентов, даже на разных расстояниях. Анализируя оттенок, или базовый тон цвета, каждого пикселя, камера могла надежно различать красные и зеленые объекты при фиксированном освещении, хотя тонкие различия между похожими по цвету клубниками оставались сложной задачей.

Осязание, различающее твердое и мягкое

Сенсоры прикосновения и сгиба позволяют роботизированной руке «ощущать» фрукты способами, дополняющими зрение. По мере того как палец сгибается, свет внутри встроенного волокна меняется предсказуемым образом, что позволяет системе оценить, насколько согнулся каждый палец и какого веса может быть объект. При давлении на тестовые образцы от очень мягкой резины до жесткого пластика, сенсоры на кончиках показывали характерные изменения интенсивности света, соответствовавшие приложенной силе. Это позволяло захвату отличать твердые объекты от мягких и чувствовать разницу между незрелыми и зрелыми плодами по их твердости. В демонстрациях робот аккуратно захватывал супермаркетные клубнику и авокадо, измерял их цвет и размер и использовал совокупные данные, чтобы разделять зрелые и незрелые образцы без видимых повреждений. Встроенный модуль скручивания даже позволял руке вращаться вокруг плодоножки, чтобы снять тепличную клубнику с растения.

От лабораторного прототипа к будущему помощнику на ферме

В совокупности эти возможности показывают, что один мягкий захват может собирать подробную информацию о цвете, форме, размере и твердости фруктов, одновременно выполняя сам процесс сбора. Для производителей такой инструмент мог бы помочь принимать более точные решения о сроках уборки, сократить потребность в ручном сжимании и сортировке и уменьшить потери от поврежденной или переспелой продукции. Хотя текущая система все еще сталкивается с практическими проблемами, такими как сложная проводка и деликатные волокна, которые могут загрязняться соком фруктов, она указывает на будущее, в котором роботы с нежными сенсорными «руками» помогут доставлять больше целых, высокого качества плодов с поля на стол.

Цитирование: Mishra, A.K., Ramaswami, A., Shree, V. et al. Sensor fusion of touch & vision in soft manipulators for fruit picking. Nat Commun 17, 4307 (2026). https://doi.org/10.1038/s41467-026-70588-9

Ключевые слова: мягкая робототехника, сбор фруктов, тактильное ощущение, компьютерное зрение, точное земледелие