用于以游戏为基础的手指康复的动态手部动作识别

为什么视频游戏能帮助劳累的手恢复

对于许多正在从中风、关节炎或其他手臂损伤中康复的人，医生会开出频繁的手和手指练习。这些动作很简单，但必须反复进行，很快就会变得乏味。本研究探索了如何将这些临床手指练习转化为视频游戏的控制方式，使患者在玩游戏并获得乐趣的同时练习相同的动作。

将治疗动作变成游戏控制

研究人员聚焦于临床中常见的七种手指练习，例如握拳、张开手指、将拇指依次碰触各个手指以及伸展拇指。研究组没有使用诸如数手指之类的通用手势，而是基于这些真实的治疗动作新建了一个图像集合。十四名志愿者在不同光照和背景下分别用双手拍摄每种动作，生成了 2,800 张彩色图像，更真实地反映了实际患者在手指康复过程中会做的动作。

教计算机“读懂”手部

为实现自动识别这些练习，团队使用了一个知名的图像识别网络 VGG16。他们没有从头训练一个庞大的模型，而是采用迁移学习，将一个已在数百万张日常图片上训练好的系统的知识用于新任务。首先，他们固定原始网络并添加自己的最终层以区分七类练习；随后允许基础网络的最后几层对新的手部图像进行微调。这个微调步骤帮助系统捕捉到相似手指姿势之间的细微差别。

系统对手部理解的效果如何

在来自训练集中未见过的人的新图像上，模型在微调前大约能正确识别 82% 的练习，微调后约为 85%。最大误判发生在区分中指和无名指练习时，尤其是在图像左右翻转时，因为弯曲与伸直手指的模式看起来很相似。通过使用特殊的热图，团队展示了模型关注的是这些手指与拇指出现的区域，从而揭示了某些姿势易被混淆的原因。尽管如此，整体准确率足以在游戏环境中实现流畅使用。

用手指玩保龄球

为在实践中测试该系统，研究人员将其连接到一个简单的保龄球视频游戏。摄像头捕捉玩家手部的实时画面，识别模型判断当前的手指练习，并将每种手势映射到游戏的某个动作，例如使球员上下移动或投球。这样，游戏中的每一个动作都需要对应一个真实的康复练习，玩游戏就等于在练习。十五名健康志愿者在短暂的练习期间学习哪个手势触发哪个动作后，分别进行了两次简短的试玩。

玩家在游戏中的感受

游戏结束后，参与者填写了衡量愉悦感、动机、控制感、沉浸感以及游戏是否导致疼痛的标准问卷。大多数玩家表示游戏令人愉快，感觉自己在手势使用上有所进步，并且不感到有压力或紧张。他们还表示游戏的控制难度适中，通常不会产生疼痛，表明这些练习是舒适的。尽管并非所有人都表示愿意每天玩，许多人认为这一想法在支持手部锻炼方面有效且有趣。

这对未来康复游戏的重要性

这项工作表明，以真实治疗动作为核心的识别系统可以使基于游戏的手指训练既实用又更具吸引力。尽管模型有时会错误识别单帧图像，游戏响应的是连续的手部位置流，短暂的错误很少影响游戏体验。作者将他们的数据集和结果视为进一步开发更高级系统以及对老年人和手部受损人群开展后续研究的起点，在这些群体中，此类运动游戏可望使重复性的康复训练既更准确又更有乐趣。

引用: Ajani, O.S., Darlan, D., Aboyeji, E. et al. Dynamic hand exercise recognition for game-based finger rehabilitation. Sci Rep 16, 15007 (2026). https://doi.org/10.1038/s41598-026-42693-8

关键词: 手指康复, 手势识别, 运动游戏, 迁移学习, 虚拟治疗