Динамическое распознавание упражнений для рук для игрового восстановления пальцев

Почему видеоигры помогают уставшим рукам восстановиться

Многим людям, восстанавливающимся после инсульта, артрита или других травм руки, врачи назначают частые упражнения для кисти и пальцев. Эти движения просты, но их нужно повторять снова и снова, что быстро становится скучным. В этом исследовании рассматривают, как превратить клинические упражнения для пальцев в элементы управления видеоигрой, чтобы пациенты выполняли те же движения во время игры и получали удовольствие.

Преобразование терапевтических движений в управление игрой

Исследователи сосредоточились на семи распространённых пальцевых упражнениях, используемых в клиниках: сжатие кулака, разведённые пальцы, касание большого пальца каждого пальца и растяжение большого пальца. Вместо использования общих жестов, таких как счёт на пальцах, они создали новую коллекцию изображений, основанную исключительно на этих реальных терапевтических движениях. Четырнадцать добровольцев фотографировались, выполняя каждое упражнение обеими руками при разном освещении и фоне, что дало 2800 цветных изображений, лучше отражающих то, что будут делать реальные пациенты во время восстановления пальцев.

Обучение компьютера «читать» руку

Чтобы автоматически распознавать упражнения, команда использовала известную сеть для распознавания изображений VGG16. Вместо обучения большой модели с нуля они применили трансферное обучение — адаптацию знаний из системы, уже обученной на миллионах повседневных изображений, к новой задаче. Сначала они оставили исходную сеть фиксированной и добавили собственные финальные слои для различения семи упражнений. Затем позволили последним слоям базовой сети слегка подстроиться под новые изображения рук. Этот шаг тонкой настройки помог системе улавливать тонкие различия между похожими положениями пальцев.

Насколько хорошо система «понимала» руку

На новых изображениях людей, которых сеть не видела при обучении, модель правильно распознавала упражнения примерно в 82% случаев до тонкой настройки и около 85% — после неё. Наибольшие ошибки возникали при различении упражнений для среднего и безымянного пальцев, особенно когда изображения зеркалили слева направо, потому что узоры согнутых и выпрямленных пальцев выглядели очень похоже. С помощью специальных тепловых карт команда показала, что модель фокусировалась на областях, где расположены эти пальцы и большой палец, что объясняет, почему некоторые позы часто путались. Тем не менее общая точность была достаточно высокой для плавной работы в игровом режиме.

Играть в боулинг с помощью пальцев

Чтобы протестировать систему на практике, исследователи связали её с простой видеоигрой в боулинг. Камера захватывала живое изображение руки игрока, модель распознавания определяла текущее упражнение пальцев, а каждому жесту сопоставлялось одно из игровых действий, например движение игрока вверх или вниз или бросок шара. Таким образом каждое действие в игре требовало реального восстановительного упражнения, поэтому игра означала практику. Пятнадцать здоровых добровольцев опробовали систему в двух коротких сессиях после краткой практики, чтобы выучить, какой жест запускает какое действие.

Что игроки чувствовали во время игры

После игры участники заполнили стандартные анкеты, измеряющие удовольствие, мотивацию, чувство управления, погружение и наличие боли от игры. Большинство игроков сообщили, что игра доставляла удовольствие, чувствовали, что становятся лучше в управлении жестами, и не испытывали давления или напряжения. Они также отметили, что управление не слишком сложное и в целом безболезненное, что говорит о комфорте упражнений. Хотя не все сказали, что будут играть каждый день, многие сочли идею эффективной и интересной для поддержки упражнений для рук.

Почему это важно для будущих реабилитационных игр

Эта работа показывает, что система распознавания, построенная вокруг реальных терапевтических упражнений, может сделать тренировку пальцев в игровой форме практичной и увлекательной. Несмотря на то, что модель иногда неверно распознавала отдельные кадры, игра реагировала на непрерывный поток положений руки, поэтому кратковременные ошибки редко влияли на игровой процесс. Авторы рассматривают свой набор данных и результаты как отправную точку для более продвинутых систем и будущих исследований с пожилыми людьми и пациентами с нарушениями руки, где такие эксергеймы могут помочь сделать повторяющуюся реабилитацию точной и приятной.

Цитирование: Ajani, O.S., Darlan, D., Aboyeji, E. et al. Dynamic hand exercise recognition for game-based finger rehabilitation. Sci Rep 16, 15007 (2026). https://doi.org/10.1038/s41598-026-42693-8

Ключевые слова: восстановление пальцев, распознавание жестов руки, эксергейм, трансферное обучение, виртуальная терапия