ULTRA-MoCap: Мультимодальный набор данных IMU и sEMG для анализа кинематики суставов верхней конечности

Почему важно отслеживать повседневные движения руки

Каждый раз, когда вы тянетесь к полке, размахиваете руками при ходьбе или поднимаете сумку, плечо, локоть и запястье выполняют точно скоординированный танец. Детальное понимание этого движения может преобразить физическую реабилитацию, спортивную подготовку и управление вспомогательной робототехникой или экзоскелетами. Тем не менее большинство существующих данных о движении руки получены либо с помощью громоздких камер в специализированных лабораториях, либо с помощью носимых устройств, фиксирующих лишь часть происходящего. В этой статье представлен ULTRA-MoCap — новый открытый набор данных, который объединяет эти источники, сочетая системы захвата движения, крошечные датчики движения и записи активности мышц, чтобы дать более полную картину движений верхней конечности.

Объединение разных способов измерения

Большинство исследований движений руки опираются только на один источник информации о теле: либо на то, как движутся суставы, либо на то, как активируются мышцы, либо на ускорение конечности в пространстве. ULTRA-MoCap выделяется тем, что записывает все три одновременно. Он синхронизирует высококлассную систему захвата движения на основе камер с шестью небольшими инерциальными измерительными блоками (IMU), отслеживающими движение на кисти, запястье, предплечье и плече, а также с датчиками поверхностной электромиографии (sEMG), измеряющими электрическую активность ключевых мышц — таких как бицепс, трицепс и дельтовидная мышца. Такое сочетание позволяет исследователям увидеть, как в одном временном масштабе соотносятся активность мышц, движение конечности и углы суставов, предоставляя детализированный динамический портрет движений верхней части тела.

Как данные собирались у людей

Набор данных построен на экспериментах с участием тринадцати здоровых взрослых, каждый из которых был тщательно отобран, чтобы исключить существующие травмы руки или плеча. У участников было по шестьдесят отражательных маркеров для захвата движения и шесть беспроводных сенсорных модулей на правой руке. Они выполняли пять типичных упражнений для верхней конечности: размахивание обеими руками, дотягивание через корпус, многократное сгибание и разгибание локтей, вращение плечами и поднятие рук над головой на разные высоты. Каждая попытка длилась тридцать секунд с самовыбранной скоростью от медленной до очень быстрой, с перерывами для отдыха, чтобы избежать утомления, которое могло бы исказить мышечные сигналы. В результате получено большое разнообразие движений, при этом сохраняются четкие повторяемые паттерны, похожие на естественные повседневные действия.

От сырых маркеров к виртуальным суставам

Чтобы превратить облака маркеров камеры в осмысленные углы суставов, авторы использовали детальную компьютерную модель верхней части тела, представляющую кости и суставы в виде виртуального скелета. Сначала эту модель «масштабировали» под размеры каждого человека с помощью калибровочной позы, затем применяли обратную кинематику, чтобы найти положения и углы суставов, наиболее согласующиеся с наблюдаемыми траекториями маркеров в каждый момент времени. Тщательные проверки качества обеспечивали, что виртуальные маркеры оставались в пределах нескольких сантиметров от реальных, а рассчитанные движения плеча, локтя и запястья выглядели анатомически правдоподобно на тысячах кадров. В финальном наборе данных содержатся как эти обработанные углы суставов, так и оригинальные записи датчиков и маркеров, все организовано с согласованными именами файлов и форматами, чтобы другие могли легко их использовать повторно.

Проверка качества данных с помощью машинного обучения

Чтобы показать, что сигналы не только чистые, но и информативные, авторы обучили модель глубокого обучения распознавать, какое из пяти упражнений выполняется, основываясь исключительно на коротких двухсекундных фрагментах данных с датчиков. Используя только данные IMU, модель правильно определяла упражнение более чем в 94 процентах случаев, а производительность немного выросла при сочетании данных IMU и мышечной активности. Данные мышц по отдельности оказалось сложнее обобщать между разными людьми, что отражает естественную вариативность в том, как люди привлекают мышцы, но при персонализации модели под одного испытуемого результаты были исключительно хороши. Эти выводы указывают, что ULTRA-MoCap хорошо подходит как для универсальных алгоритмов, которые должны работать на новых пользователях, так и для персонализированных систем, подстраивающихся под конкретного человека.

Что значит этот ресурс для будущего

В повседневных терминах ULTRA-MoCap — это как хорошо оснащенный «черный ящик» для руки, фиксирующий, как кости, мышцы и носимые датчики взаимодействуют во время реалистичных движений. Поскольку набор данных и сопутствующий код доступны публично, исследователи могут использовать их для разработки более умных реабилитационных упражнений, улучшения управления роботизированными экзоскелетами, совершенствования взаимодействия в виртуальной реальности или изучения способов делать больше с помощью меньшего числа или более простых датчиков. Авторы приходят к выводу, что этот многослойный взгляд на движения верхней конечности заполняет ключевой пробел в доступных ресурсах и должен ускорить развитие носимых технологий, которые понимают и помогают нашим движениям рук естественным и интуитивным образом.

Цитирование: Fritsche, O., Camacho, S., Hossain, M.S.B. et al. ULTRA-MoCap: A Multimodal IMU and sEMG Dataset for Upper Body Joint Kinematics Analysis. Sci Data 13, 622 (2026). https://doi.org/10.1038/s41597-026-06687-5

Ключевые слова: движение верхней конечности, носимые датчики, электромиография, набор данных захвата движений, технологии реабилитации