Fuzja czucia dotyku i widzenia w miękkich manipulatorach do zbioru owoców

Delikatne roboty dla kruchych owoców

Każdy, kto przyniósł do domu zebraną truskawkę z uszkodzeniami, wie, jak łatwo można uszkodzić delikatne owoce. Rolnicy borykają się z tym samym problemem na dużą skalę, tracąc znaczną część plonów z powodu zbioru w niewłaściwym momencie lub zbyt gwałtownego obchodzenia się z owocami. W tym badaniu przedstawiono miękką, wypełnioną sensorami robotyczną dłoń zaprojektowaną tak, by widzieć i czuć owoce podobnie jak ludzki zbieracz, dzięki czemu może zbierać uprawy, takie jak truskawki i awokado, delikatnie, szybko i z dużo mniejszym marnotrawstwem.

Dlaczego miękkie dłonie mają znaczenie w polu

Wiele owoców daje jedynie subtelne wskazówki dotyczące dojrzałości. Niektóre, jak cytrusy, zmieniają kolor powoli i są jędrne przez tygodnie; inne, jak jagody, miękną szybko i mogą zepsuć się w ciągu kilku dni. Sam kolor często jest zawodny, a naciskanie ręką grozi pojawieniem się stłuczeń. Ludzie zbierający owoce od dawna równoważą to, co widzą, z tym, co czują, lecz producenci dziś zmagają się z brakami kadrowymi i ogromną skalą koniecznych inspekcji. Istniejące roboty rolnicze opierają się głównie na sztywnych metalowych chwytakach i kamerach umieszczonych daleko od owocu, co utrudnia dokładną ocenę koloru, rozmiaru i jędrności, a nadal może uszkadzać delikatne plony.

Widzenie i czucie w jednym kompaktowym chwytaku

Naukowcy zbudowali gwiaździstą robotyczną dłoń z pięcioma miękkimi palcami rozmieszczonymi wokół centralnej dłoni. Każdy palec wykonany jest z elastycznego, gumopodobnego materiału, który zgina się po napompowaniu powietrzem. Ukryte wewnątrz palców są przezroczyste włókna plastikowe prowadzące światło; zmiany w tym świetle ujawniają, jak bardzo każdy palec się zgina i z jaką siłą naciska na przedmiot. Na końcówkach palców włókna w kształcie litery U działają jako czujniki dotyku, informując system, czy trzyma przedmiot miękki czy twardy. W dłoni umieszczona jest malutka kamera i czujnik odległości obok siebie, dając zbliżony obraz każdego owocu i mierząc, jak duży wydaje się on w polu widzenia. Wszystko to połączone jest małymi płytkami drukowanymi i komputerem, które scalają sygnały w pojedynczy obraz tego, co chwytak widzi i dotyka.

Jak miękka dłoń radzi sobie z owocami

Aby zrozumieć możliwości urządzenia, zespół najpierw zmierzył mechanikę dłoni. Miękkie palce zginały się do około dwóch trzecich pełnego okręgu zgodnie z symulacjami komputerowymi, a chwytak może zamknąć się wokół przedmiotów w czasie krótszym niż dwie sekundy. Może podnieść do jednego kilograma, czyli ponad szesnaście razy więcej niż własna masa, a jego zasięg rozszerza się z małego centralnego otworu do obszaru wystarczająco dużego, by objąć wiele rodzajów owoców. System wzrokowy poprawnie identyfikował proste kształty, takie jak kostki i kule, niemal za każdym razem oraz szacował ich rozmiar z błędem na poziomie zaledwie kilku procent, nawet przy różnych odległościach obserwacji. Koncentrując się na barwie, czyli podstawowym odcieniu koloru w każdym pikselu, kamera mogła wiarygodnie rozróżniać czerwienie i zielenie przy stałym oświetleniu, chociaż subtelne różnice między podobnymi czerwonymi truskawkami pozostawały wyzwaniem.

Dotyk rozróżniający twarde od miękkiego

Czujniki dotyku i zgięcia pozwalają robotycznej dłoni wyczuwać owoce w sposób uzupełniający do wzroku. Gdy palec się zwija, światło we wbudowanym włóknie zmienia się w przewidywalny sposób, co pozwala systemowi wnioskować, jak bardzo każdy palec się zgina i jak ciężki może być przedmiot. Przy nacisku na próbki testowe od bardzo miękkiego gumowego materiału po sztywny plastik, czujniki dotyku na końcach palców wykazywały wyraźne zmiany natężenia światła, które odzwierciedlały przyłożoną siłę. Pozwoliło to chwytakowi odróżniać twarde obiekty od miękkich oraz wykrywać różnicę między niedojrzałymi a dojrzałymi owocami na podstawie ich jędrności. W demonstracjach robot delikatnie chwytal truskawki i awokado ze sklepu, mierzył ich kolor i rozmiar, a następnie na podstawie połączonych danych oddzielał próbki dojrzałe od niedojrzałych bez widocznych stłuczeń. Wbudowany moduł skręcania pozwalał nawet dłoni obracać się wokół szypułki, by odrywać truskawki z rośliny w szklarni.

Od prototypu laboratoryjnego do przyszłego pomocnika na farmie

Razem te możliwości pokazują, że pojedynczy miękki chwytak może zbierać bogate informacje o kolorze, kształcie, rozmiarze i jędrności owocu, jednocześnie wykonując sam zbiór. Dla plantatorów takie narzędzie mogłoby wspierać dokładniejsze decyzje dotyczące czasu zbioru, zmniejszać potrzebę ręcznego ściskania i sortowania oraz ograniczać straty wynikające z uszkodzeń lub przejrzałości. Choć obecny system nadal napotyka praktyczne problemy, takie jak skomplikowane okablowanie i delikatne włókna, które mogą ulec zabrudzeniu sokiem owocowym, wskazuje drogę ku przyszłości, w której roboty z delikatnymi, czującymi dłońmi pomagają dostarczać na stół więcej nienaruszonych, wysokiej jakości owoców.

Cytowanie: Mishra, A.K., Ramaswami, A., Shree, V. et al. Sensor fusion of touch & vision in soft manipulators for fruit picking. Nat Commun 17, 4307 (2026). https://doi.org/10.1038/s41467-026-70588-9

Słowa kluczowe: miękka robotyka, zbiór owoców, sensory dotykowe, widzenie komputerowe, rolnictwo precyzyjne