Sensorfusion av känsel och syn i mjuka manipulatorer för fruktskörd

Skonsamma robotar för känslig frukt

Alla som någon gång tagit med sig jordgubbar hem och upptäckt blåmärken vet hur lätt känslig frukt kan skadas. Jordbrukare står inför samma problem i stor skala och förlorar stora delar av skörden eftersom frukten plockas vid fel tidpunkt eller hanteras för hårdhänt. Denna studie introducerar en mjuk, sensorpackad robothand utformad för att se och känna frukt på samma sätt som en mänsklig plockare, så att den kan skörda grödor som jordgubbar och avokado försiktigt, snabbt och med betydligt mindre svinn.

Varför mjuka händer spelar roll ute på fältet

Många frukter ger bara subtila ledtrådar om mognad. Vissa, som citrus, ändrar färg långsamt och förblir fasta i veckor; andra, som bär, mjuknar snabbt och kan förstöras inom dagar. Färg i sig är ofta opålitlig, och att trycka för hand innebär risk för blåmärken. Mänskliga plockare har länge balanserat vad de ser med vad de känner, men odlare har nu problem med arbetskraftsbrist och den enorma inspektionsmängd som krävs. Befintliga gårdsrobotar förlitar sig till stor del på styva metallgripare och kameror placerade långt från frukten, vilket gör det svårt att noggrant bedöma färg, storlek och fasthet och som ändå kan skada ömtåliga produkter.

Se och känna i en kompakt gripare

Forskarna byggde en stjärnformad robothand med fem mjuka fingrar kring en central handflata. Varje finger är gjort av ett flexibelt gummiliknande material som böjer sig när luft pumpas in. Dolda i fingrarna finns klara plastfibrer som styr ljus; förändringar i det ljuset avslöjar hur mycket varje finger böjer sig och hur hårt det trycker mot ett föremål. Vid fingertopparna fungerar U-formade fibrer som beröringssensorer och talar om för systemet om det håller något mjukt eller styvt. I handflatan sitter en liten kamera och en avståndssensor sida vid sida, vilket ger en närbild av varje frukt och mäter hur stor den verkar vara. Allt detta kopplas samman med små kretskort och en dator som kombinerar signalerna till en samlad bild av vad griparen rör vid och ser.

Hur den mjuka handen presterar på frukt

För att förstå vad deras enhet kunde göra mätte teamet först handens mekanik. De mjuka fingrarna böjer sig upp till ungefär två tredjedelar av en full cirkel och följer dator-simuleringarna, och griparen kan stänga sig runt föremål på under två sekunder. Den kan lyfta upp till ett kilogram, mer än sexton gånger sin egen vikt, och dess räckvidd utvidgas från en liten central öppning till ett område stort nog att omsluta många typer av frukt. Synsystemet identifierade enkla former, som kuber och sfärer, nästan varje gång och uppskattade deras storlek med endast några procents fel, även vid olika avstånd. Genom att fokusera på nyansen, det grundläggande färgtonsvärdet i varje pixel, kunde kameran skilja rött från grönt pålitligt under konstant belysning, även om subtila skillnader mellan liknande röda jordgubbar förblev utmanande.

Känsel som skiljer fast från mjukt

Känsel- och böjsensorerna låter robothanden känna frukt på sätt som kompletterar dess syn. När ett finger krullar ändras ljuset i den inbäddade fibern på ett förutsägbart sätt, vilket gör det möjligt för systemet att sluta sig till hur långt varje finger har böjt sig och hur tungt ett föremål kan vara. När fingertoppens beröringssensorer pressades mot provstycken som varierade från mycket mjuk gummi till styv plast, visade de tydliga förändringar i ljusintensitet som följde hur mycket kraft som applicerades. Detta gjorde att griparen kunde skilja styva föremål från mjuka och att känna skillnaden mellan omogen och mogen frukt baserat på fasthet. I demonstrationer grep roboten varsamt jordgubbar och avokador från mataffär, mätte deras färg och storlek och använde den samlade datan för att skilja mogna från omogna prover utan synliga märken. En inbyggd vridmodul gjorde det till och med möjligt för handen att rotera runt fruktens stam för att plocka växthusjordgubbar från plantan.

Från labbprototyp till framtida gårdshjälp

Tillsammans visar dessa förmågor att en enda mjuk gripare kan samla rik information om fruktens färg, form, storlek och fasthet samtidigt som den utför själva plockningen. För odlare kan ett verktyg som detta stödja mer precisa beslut om när det är dags att skörda, minska behovet av manuell pressning och sortering och skära ner förluster från skadad eller övermogen vara. Även om det nuvarande systemet fortfarande står inför praktiska problem, såsom komplexa kablage och känsliga fibrer som kan förorenas av fruktjuice, pekar det mot en framtid där robotar med skonsamma, känslande händer hjälper till att föra mer intakt, högkvalitativ frukt från fält till bord.

Citering: Mishra, A.K., Ramaswami, A., Shree, V. et al. Sensor fusion of touch & vision in soft manipulators for fruit picking. Nat Commun 17, 4307 (2026). https://doi.org/10.1038/s41467-026-70588-9

Nyckelord: soft robotics, fruit harvesting, tactile sensing, computer vision, precision agriculture