Метод оценки 3D-позы жеста руки на основе Swin Transformer и CNN

Руки, которые разговаривают с машинами

Представьте, что вы управляете компьютером, приборной панелью автомобиля или миром виртуальной реальности просто двигая руками в воздухе. Чтобы это ощущалось естественно, машина должна точно знать, где находится каждый сустав пальца в трёхмерном пространстве, даже если части кисти скрыты или плохо освещены. В этой статье предложен новый способ для компьютеров считывать позы рук по данным глубинных камер с большей точностью, что приближает плавное бесконтактное взаимодействие к повседневной реальности.

Почему распознавать руки так сложно

Оценка позы руки означает определение 3D-положений ключевых суставов кисти по данным камеры. Это сложнее, чем кажется. Пальцы сгибаются, вращаются и перекрывают друг друга, а у разных людей разные формы и размеры рук. Многие существующие методы учитывают только ограниченные визуальные подсказки или сосредоточены на небольших областях, поэтому упускают, как движется рука в целом. Они также испытывают трудности с учётом дальних взаимосвязей между суставами, например, как большой и указательный пальцы взаимодействуют при захвате предмета. Эти пробелы в понимании приводят к большим ошибкам и ненадёжной работе в реальных сценариях, таких как виртуальная реальность или распознавание жестового языка.

Новый двупутевой взгляд на руку

Авторы предлагают систему, которая берёт глубинные изображения — кадры, где каждый пиксель кодирует расстояние до камеры — и превращает их в точные 3D‑скелеты руки. Сначала обычная свёрточная нейронная сеть извлекает грубые визуальные признаки из входного глубинного изображения. Затем информация поступает в два параллельных потока. Один поток использует U‑образную сеть для сохранения тонких деталей на нескольких масштабах изображения, что позволяет сохранять мелкие структуры, такие как отдельные суставы пальцев. Другой поток применяет современную архитектуру Swin Transformer, которая хорошо улавливает взаимосвязи между удалёнными областями изображения. Запуская оба потока параллельно и затем объединяя их выходы, модель учится одновременно учитывать локальные детали каждого сустава и общую организацию кисти.

Тепловые карты, выделяющие суставы пальцев

Чтобы помочь сети научиться, где вероятнее всего находятся суставы, исследователи добавляют промежуточное представление, называемое тепловой картой. Для каждого сустава они генерируют мягкое, светящееся пятно на 2D‑карте, пик которого отмечает наиболее вероятное местоположение сустава, а соседние пиксели постепенно затухают. Во время обучения модель просит не только предсказывать конечные 3D‑координаты каждого сустава, но и соответствовать этим тепловым картам. Такое двойное обучение направляет сеть обращать внимание и на пространственную структуру изображения, и на естественные связи между соседними суставами. Это также улучшает способность системы обобщать результаты на разных людях и позах рук.

Новые данные и лучшая точность

Для проверки подхода авторы объединяют известный эталонный набор данных от Microsoft Research Asia с новым набором глубинных изображений, снятых с использованием LiDAR‑устройства. Собственный набор добавляет сложные случаи, такие как маленькие дальние руки и разнообразные жесты, чтобы лучше отражать реальные сценарии использования. Метод сравнивают с несколькими широко применяемыми системами оценки позы руки. В среднем новая модель снижает ошибку в позициях суставов на несколько миллиметров по сравнению с конкурентами, при этом работая на скоростях, подходящих для приложений в реальном или близком к реальному времени. Подробные эксперименты показывают, что каждый ключевой компонент — глобальное моделирование с помощью Swin Transformer, локальные многомасштабные признаки из U‑образной сети и обучение по тепловым картам — вносит заметный вклад в итоговую точность.

Что это значит для повседневного взаимодействия

Проще говоря, исследование демонстрирует, что когда алгоритм видит одновременно «большую картину» всей руки и мелкие детали каждого пальца, и обучается с помощью тепловых карт, выделяющих вероятные положения суставов, это обеспечивает более надёжное отслеживание 3D‑движений кисти. Повышенная точность и устойчивость упрощают создание систем управления жестами, которые работают для разных пользователей, при разном освещении и сложных позах — будь то виртуальная реальность, интеллектуальные приборные панели автомобилей или средства удалённого сотрудничества. Хотя метод ещё нужно расширить для более сложных ситуаций, где руки тесно взаимодействуют с объектами, это существенный шаг к тому, чтобы компьютеры могли считывать наши движения рук так же плавно, как мы их выполняем.

Цитирование: Dang, R., Feng, G. Hand gesture 3D pose estimation method based on swin transformer and CNN. Sci Rep 16, 11551 (2026). https://doi.org/10.1038/s41598-026-41974-6

Ключевые слова: оценка позы руки, распознавание жестов, глубинное изображение, трансформерные сети, человеко‑компьютерное взаимодействие