GenHand: обобщённое перенаправление кинематики человеческого захвата

Обучение роботов держать предметы так, как это делаем мы

От подъёма кружки до закручивания отвертки — наши руки делают обращение с предметами выглядящим легко и естественно. Роботы же часто испытывают трудности с надёжным захватом повседневных предметов, особенно когда их захваты совсем не похожи на человеческую кисть. В этой статье представлена система GenHand, которая учится на движениях человеческой руки по обычным изображениям и преобразует их в стабильные, похожие на человеческие, захваты для самых разных типов робототехнических манипуляторов.

Почему роботам нужно не просто копировать движения

Многие современные системы телеоперации и имитационного обучения пытаются напрямую перенести позу человеческой руки на роботическую. Они сопоставляют расположение кончиков пальцев и углы в суставах максимально точно. Это работает только когда роботическая рука по форме и числу пальцев и сочленений близка к человеческой. Как только захват проще — например, всего два плоских пальца — скопированная поза может уже не обеспечивать надёжный захват. Такие подходы также в значительной степени игнорируют форму объекта и места, где должен происходить надёжный контакт, поэтому итоговые захваты могут соскальзывать, терять равновесие или неправильно касаться поверхности.

Рассмотрение руки и объекта вместе

GenHand решает эту проблему, сосредотачиваясь на взаимодействии между рукой и предметом, а не только на форме руки. Начиная с обычного RGB-изображения, система восстанавливает подробную 3D-модель объекта и параметрическую 3D-модель человеческой руки. Нейросеть выводит позу руки, а продвинутое представление в виде «подписанной функции расстояния» восстанавливает поверхность объекта. Имея эту пару моделей, GenHand определяет, где именно кончики пальцев человека действительно контактируют и в каких направлениях они давят на объект. Затем эти контактные точки группируются в небольшой набор осмысленных областей и направлений силы, которые суммируют ключевую структуру человеческого захвата, отфильтровывая лишние детали.

Переосмысление захвата для каждого робота

После того как GenHand выяснил ключевые контактные области и то, как они поддерживают предмет, он формирует новый набор «якорей контакта», подходящих для конкретного робота. Для простого двухпальцевого захвата он может оставить лишь две противоположные области контакта, как будто пара больших пальцев сжимает коробку. Для более ловких рук с тремя, четырьмя или пятью пальцами можно назначить дополнительные якори, чтобы лучше воспроизвести богатую картину контактов человеческого захвата. Математический этап оптимизации затем ищет места на поверхности объекта, где можно уравновесить силы и моменты во всех направлениях — свойство, известное как замыкание сил. Важно, что GenHand остаётся близок к исходным человеческим контактам, одновременно требуя, чтобы итоговый захват был физически устойчив в реальном мире.

От устойчивых контактов к реальным движениям робота

Имея устойчивые якори контакта, второй этап оптимизации находит реальные углы в суставах и движения запястья робота, которые могут реализовать эти якори, не нарушая ограничений по сгибу и не вызывая коллизий с предметом. Для этого GenHand многократно соотносит потенциальные контактные площадки робота с желаемыми якорями, корректирует позу и проверяет, не проникают ли звенья в объект. Этот процесс применяется к ряду роботических рук — от простого двухпальцевого захвата Robotiq до сильно артикулированной пятипальцевой руки Shadow — и тестируется в физическом моделировании. По сравнению с ведущим эталоном, который лишь имитирует геометрию кончиков пальцев, GenHand показывает значительно меньшее неравновесие сил, более точный контакт с поверхностью и заметно более высокие показатели успеха при подъёме и удержании 20 повседневных предметов в разных условиях трения.

К чему это может привести для бытовых роботов

Для неспециалиста итог таков: GenHand даёт роботам лучшее понимание не только «куда» поставить пальцы, но и «как» держать предметы. Обучаясь на реальных человеческих захватах и соблюдая базовые правила физической устойчивости, система умеет перенаправлять одну и ту же человеческую демонстрацию на очень разные роботические руки, при этом достигая прочных и надёжных захватов. Это облегчает управление телеоперацией, даёт системам обучения более богатые примеры и приближает нас к бытовым и рабочим роботам, которые смогут безопасно обращаться с тем же широким набором предметов, что и люди.

Цитирование: Qi, L., Popoola, O., Imran, M.A. et al. GenHand: generalised human grasp kinematic retargeting. npj Robot 4, 19 (2026). https://doi.org/10.1038/s44182-026-00076-1

Ключевые слова: роботизированный захват, телеоперация, человеческая демонстрация, руки роботов, манипуляция