GenHand : réaffectation cinématique généralisée des saisies humaines

Apprendre aux robots à tenir les objets comme nous

Qu’il s’agisse de prendre une tasse de café ou de tourner un tournevis, nos mains rendent la manipulation des objets presque instinctive. Les robots, en revanche, peinent souvent à saisir de manière fiable des objets du quotidien, surtout lorsque leurs préhenseurs n’ont rien d’une main humaine. Cet article présente GenHand, un système qui apprend des mouvements de la main humaine à partir d’images ordinaires et les convertit en saisies stables et de type humain pour de nombreux types de mains robotiques.

Pourquoi les mains robotisées ont besoin de plus que de simples copies

Beaucoup de systèmes actuels de téléopération et d’apprentissage par imitation tentent de reproduire directement la pose de la main humaine sur la main robotique. Ils font correspondre au mieux les positions des bouts des doigts et les angles des articulations. Cela ne fonctionne que lorsque la main robotique ressemble étroitement à une main humaine et dispose d’un nombre similaire de doigts et d’articulations. Dès que le préhenseur est plus simple — par exemple deux doigts plats — la pose copiée peut ne plus assurer une prise sûre. Ces approches négligent aussi en grande partie la forme de l’objet et les zones de contact essentielles, si bien que les saisies peuvent glisser, perdre l’équilibre ou ne jamais toucher correctement la surface.

Regarder la main et l’objet ensemble

GenHand résout ce problème en se concentrant sur l’interaction entre la main et l’objet, et pas seulement sur la forme de la main. À partir d’une image RGB classique, le système reconstruit un modèle 3D détaillé de l’objet et un modèle 3D paramétrique de la main humaine. Il utilise un réseau neuronal pour inférer la pose de la main, et une représentation avancée par « distance signée » pour récupérer la surface de l’objet. À partir de cette paire de modèles, GenHand détermine où les bouts des doigts humains entrent réellement en contact et dans quelles directions ils poussent sur l’objet. Il regroupe ensuite ces points de contact en un petit nombre de régions significatives et de directions de force qui résument la structure essentielle de la saisie humaine tout en filtrant les détails superflus.

Réinventer la prise pour chaque robot

Une fois que GenHand a identifié les régions de contact clés et la manière dont elles soutiennent l’objet, il construit un nouvel ensemble « d’ancres de contact » adapté au préhenseur robotique en question. Pour un préhenseur simple à deux doigts, il peut ne conserver que deux régions de contact opposées, comme une paire de pouces serrant une boîte. Pour des mains plus agiles à trois, quatre ou cinq doigts, il peut attribuer des ancres supplémentaires pour mieux reproduire le motif de contact riche de la saisie humaine. Une étape d’optimisation mathématique cherche ensuite des emplacements de contact sur la surface de l’objet capables d’équilibrer forces et couples dans toutes les directions, une propriété connue sous le nom de fermeture de force. Fondamentalement, GenHand reste proche des contacts humains d’origine tout en exigeant que la prise résultante soit physiquement stable dans le monde réel.

Des contacts stables aux mouvements effectifs du robot

Avec des ancres de contact stables en place, une seconde étape d’optimisation trouve des angles d’articulation et des mouvements de poignet pour le robot qui réalisent ces ancres sans violer les limites articulaires ni provoquer de collisions avec l’objet. Pour ce faire, GenHand associe de manière itérative les sites de contact potentiels du robot aux ancres souhaitées, ajuste la pose et vérifie si des liaisons pénètrent l’objet. Ce processus est appliqué à une gamme de mains robotiques — d’un préhenseur Robotiq simple à deux doigts jusqu’à une main Shadow très articulée à cinq doigts — et testé en simulation physique. Comparé à une méthode de référence qui ne mime que la géométrie des bouts des doigts, GenHand produit un déséquilibre des forces bien moindre, un contact de surface plus précis et des taux de réussite significativement plus élevés lors du levage et de la tenue de 20 objets du quotidien dans différentes conditions de friction.

Ce que cela peut apporter aux robots du quotidien

Pour le lecteur non spécialiste, l’essentiel est que GenHand donne aux robots une meilleure idée du « comment » tenir les objets, pas seulement du « où » placer leurs doigts. En apprenant à partir de saisies humaines réelles et en appliquant des règles de stabilité physique de base, il peut réaffecter la même démonstration humaine à des mains robotiques très différentes tout en obtenant des prises solides et fiables. Cela facilite le contrôle des robots téléopérés, aide les systèmes d’apprentissage à s’entraîner sur des exemples plus riches et nous rapproche de robots domestiques et professionnels capables de manipuler en toute sécurité la même grande variété d’objets que les humains.

Citation: Qi, L., Popoola, O., Imran, M.A. et al. GenHand: generalised human grasp kinematic retargeting. npj Robot 4, 19 (2026). https://doi.org/10.1038/s44182-026-00076-1

Mots-clés: saisie robotique, téléopération, démonstration humaine, mains robotisées, manipulation