Fusion de capteurs tactiles et visuels dans des manipulateurs mous pour la cueillette de fruits

Robots délicats pour fruits fragiles

Quiconque a ramené des fraises meurtries sait à quel point les fruits délicats peuvent être endommagés facilement. Les agriculteurs rencontrent le même problème à grande échelle, perdant une part importante des récoltes parce que les fruits sont cueillis au mauvais moment ou manipulés trop brutalement. Cette étude présente une main robotique souple et remplie de capteurs, conçue pour voir et sentir les fruits comme le ferait un cueilleur humain, afin de récolter des cultures telles que les fraises et les avocats de manière douce, rapide et avec beaucoup moins de pertes.

Pourquoi les mains souples comptent sur le terrain

Beauxoup de fruits n’offrent que des indices subtils sur leur maturité. Certains, comme les agrumes, changent de couleur lentement et restent fermes pendant des semaines ; d’autres, comme les baies, s’assouplissent rapidement et peuvent se gâter en quelques jours. La couleur seule est souvent peu fiable, et appuyer à la main risque de provoquer des meurtrissures. Les cueilleurs humains ont longtemps concilié ce qu’ils voient et ce qu’ils sentent, mais les producteurs sont désormais confrontés à des pénuries de main-d’œuvre et à l’ampleur des inspections nécessaires. Les robots agricoles existants reposent principalement sur des préhenseurs métalliques rigides et des caméras placées loin des fruits, ce qui rend difficile l’évaluation précise de la couleur, de la taille et de la fermeté et peut encore endommager les produits délicats.

Voir et sentir dans une seule pince compacte

Les chercheurs ont construit une main robotique en forme d’étoile avec cinq doigts souples disposés autour d’une paume centrale. Chaque doigt est fabriqué à partir d’un matériau flexible semblable à du caoutchouc qui se courbe lorsqu’on y injecte de l’air. Cachés à l’intérieur des doigts se trouvent des fibres plastiques transparentes qui guident la lumière ; les variations de cette lumière révèlent combien chaque doigt se plie et quelle force il exerce sur un objet. Aux extrémités des doigts, des fibres en forme de U servent de capteurs tactiles, indiquant au système s’il tient quelque chose de mou ou de ferme. Dans la paume, une petite caméra et un capteur de distance sont côte à côte, offrant une vue rapprochée de chaque fruit et mesurant l’apparente taille. Le tout est relié par de petits circuits imprimés et un ordinateur qui combinent les signaux en une image unique de ce que la pince voit et touche.

Performances de la main souple sur les fruits

Pour comprendre ce que leur dispositif pouvait faire, l’équipe a d’abord mesuré la mécanique de la main. Les doigts souples se courbent jusqu’à environ les deux tiers d’un cercle complet en accord avec les simulations informatiques, et la pince peut se refermer autour d’objets en moins de deux secondes. Elle peut soulever jusqu’à un kilogramme, soit plus de seize fois son propre poids, et sa portée s’étend d’une petite ouverture centrale à une zone suffisamment grande pour envelopper de nombreux types de fruits. Le système visuel a identifié correctement des formes simples, comme des cubes et des sphères, presque à chaque fois et a estimé leur taille avec une erreur de seulement quelques pourcents, même à différentes distances de vue. En se concentrant sur la teinte, ou le ton de couleur de base, de chaque pixel, la caméra a pu distinguer de manière fiable les rouges et les verts sous un éclairage fixe, bien que les différences subtiles entre des fraises rouges similaires restent difficiles à trancher.

Un toucher qui distingue ferme et mou

Les capteurs de pression et de flexion permettent à la main robotique de sentir les fruits d’une manière qui complète sa vision. Lorsqu’un doigt se courbe, la lumière à l’intérieur de sa fibre intégrée change de façon prévisible, ce qui permet au système de déduire jusqu’où chaque doigt s’est plié et quelle masse un objet pourrait avoir. Lorsqu’ils sont pressés contre des échantillons tests allant du caoutchouc très mou au plastique rigide, les capteurs de la pulpe des doigts ont montré des variations d’intensité lumineuse distinctes qui suivaient l’effort appliqué. Cela a permis à la pince de distinguer les objets durs des objets mous et de sentir la différence entre un fruit pas mûr et un fruit mûr en se basant sur la fermeté. Dans des démonstrations, le robot a saisi délicatement des fraises et des avocats de supermarché, mesuré leur couleur et leur taille, et utilisé les données combinées pour séparer les échantillons mûrs des non mûrs sans meurtrissures visibles. Un module de torsion intégré a même permis à la main de pivoter autour du pédoncule pour cueillir des fraises en serre directement sur la plante.

Du prototype de laboratoire à l’aide future à la ferme

Ensemble, ces capacités montrent qu’une seule pince souple peut recueillir des informations riches sur la couleur, la forme, la taille et la fermeté des fruits tout en effectuant la cueillette elle‑même. Pour les producteurs, un outil de ce type pourrait aider à prendre des décisions plus précises sur le moment de la récolte, réduire le besoin de pressages et de tris manuels, et diminuer les pertes dues à des produits endommagés ou trop mûrs. Bien que le système actuel rencontre encore des problèmes pratiques, tels que des câblages complexes et des fibres délicates susceptibles d’être encrassées par le jus des fruits, il ouvre la voie à un avenir où des robots à mains sensibles et douces aideront à acheminer vers la table des fruits plus intacts et de meilleure qualité.

Citation: Mishra, A.K., Ramaswami, A., Shree, V. et al. Sensor fusion of touch & vision in soft manipulators for fruit picking. Nat Commun 17, 4307 (2026). https://doi.org/10.1038/s41467-026-70588-9

Mots-clés: robotique souple, récolte de fruits, détection tactile, vision par ordinateur, agriculture de précision