ULTRA-MoCap: Wielomodalny zestaw danych IMU i sEMG do analizy kinematyki stawów kończyny górnej

Dlaczego śledzenie codziennych ruchów ramienia ma znaczenie

Za każdym razem, gdy sięgasz po półkę, kołyszesz ramionami podczas chodzenia albo podnosisz torbę, bark, łokieć i nadgarstek wykonują precyzyjnie skoordynowany taniec. Dogłębne zrozumienie tych ruchów może zrewolucjonizować rehabilitację, trening sportowy oraz sterowanie robotami wspomagającymi czy egzoszkieletami. Tymczasem większość dostępnych danych o ruchu ramienia pochodzi albo z masywnych systemów kamer w wyspecjalizowanych laboratoriach, albo z urządzeń ubieralnych rejestrujących jedynie część tego, co dzieje się w ciele. Niniejszy artykuł przedstawia ULTRA-MoCap, nowy otwarty zestaw danych, który łączy te elementy — synchronizując kamery do przechwytywania ruchu, niewielkie sensory ruchu oraz zapisy aktywności mięśni — aby uzyskać pełniejszy obraz ruchu kończyny górnej.

Połączenie różnych światów pomiaru

W większości badań dotyczących ruchu ramienia wykorzystuje się tylko jedno źródło informacji: albo ruchy stawów, albo aktywność mięśni, albo przyspieszenia kończyny w przestrzeni. ULTRA-MoCap wyróżnia się tym, że rejestruje wszystkie trzy jednocześnie. Synchronizuje zaawansowany kamerowy system przechwytywania ruchu z sześcioma małymi jednostkami pomiaru inercyjnego (IMU), które śledzą ruch dłoni, nadgarstka, przedramienia i ramienia, oraz z powierzchniowymi elektrodami elektromiograficznymi (sEMG) mierzącymi aktywność elektryczną w kluczowych mięśniach, takich jak biceps, triceps i naramienny. To połączenie pozwala badaczom zobaczyć, jak aktywność mięśni, ruch kończyny i kąty stawów wyrównują się w czasie, dając szczegółowy, dynamiczny obraz ruchu górnej części ciała.

Jak dane zebrano od rzeczywistych osób

Zestaw danych powstał na podstawie eksperymentów z udziałem trzynastu zdrowych dorosłych, starannie przebadanych pod kątem braku istniejących urazów ramienia lub barku. Uczestnicy nosili sześćdziesiąt refleksyjnych markerów do przechwytywania ruchu oraz sześć bezprzewodowych jednostek sensorycznych na prawej ręce. Wykonywali pięć typowych ćwiczeń kończyny górnej: kołysanie obiema ramionami, sięganie przez ciało, wielokrotne zginanie i prostowanie łokci, rotacje barków oraz unoszenie ramion nad głowę na różne wysokości. Każde powtórzenie trwało trzydzieści sekund z prędkościami wybranymi przez uczestnika — od wolnych po bardzo szybkie — z przerwami na odpoczynek, by uniknąć zmęczenia mogącego zaburzyć sygnały mięśniowe. W efekcie uzyskano szerokie spektrum ruchów, które jednocześnie zachowują przejrzyste, powtarzalne wzorce, podobne do codziennych aktywności.

Od surowych markerów do wirtualnych stawów

Aby przekształcić chmury markerów z kamer w znaczące kąty stawów, autorzy użyli szczegółowego modelu komputerowego górnej części ciała, który reprezentuje kości i stawy jak wirtualny szkielet. Najpierw „skalowali” ten model, dopasowując go do wymiarów ciała każdej osoby za pomocą pozy kalibracyjnej, a następnie przeprowadzili proces kinematyki odwrotnej, który znajduje pozycje i kąty stawów najbardziej zgodne z obserwowanymi ścieżkami markerów w każdym momencie. Staranna kontrola jakości zapewniła, że wirtualne markery pozostawały w odległości kilku centymetrów od rzeczywistych oraz że obliczone ruchy barku, łokcia i nadgarstka wyglądały anatomicznie rozsądnie na tysiącach klatek. Końcowy zestaw danych zawiera zarówno przetworzone kąty stawów, jak i oryginalne nagrania z czujników i markerów, wszystko uporządkowane przy użyciu spójnych nazw plików i formatów, co ułatwia ich ponowne wykorzystanie przez innych.

Testowanie jakości danych za pomocą uczenia maszynowego

Aby pokazać, że sygnały są nie tylko czyste, ale i informatywne, autorzy wytrenowali model głębokiego uczenia do rozpoznawania, które z pięciu ćwiczeń jest wykonywane, opierając się wyłącznie na krótkich, dwusekundowych fragmentach danych z czujników. Używając tylko danych ruchu z IMU, model poprawnie rozpoznawał ćwiczenie ponad 94 procent przypadków, a wydajność nieco wzrastała przy połączeniu sygnałów IMU i mięśniowych. Same dane mięśniowe okazały się trudniejsze do uogólnienia między różnymi osobami, co odzwierciedla naturalne zróżnicowanie sposobu, w jaki ludzie rekrutują mięśnie, ale działały doskonale, gdy model był spersonalizowany pod jednego uczestnika. Wyniki te sugerują, że ULTRA-MoCap nadaje się zarówno do algorytmów ogólnego zastosowania, które muszą działać na nowych użytkownikach, jak i do systemów personalizowanych, dopasowanych do konkretnej osoby.

Co to źródło oznacza dla przyszłości

W codziennym ujęciu ULTRA-MoCap przypomina bogato instrumentowany „czarny skrzynkowy rejestrator” dla ramienia, rejestrujący jednoczesne zachowanie kości, mięśni i czujników ubieralnych podczas realistycznych ruchów. Ponieważ zestaw danych i kody pomocnicze są publicznie dostępne, badacze mogą użyć ich do projektowania inteligentniejszych ćwiczeń rehabilitacyjnych, poprawy sterowania egzoszkieletami robotycznymi, udoskonalania interakcji w wirtualnej rzeczywistości lub badania, jak osiągnąć więcej przy użyciu mniejszej liczby prostszych czujników. Badanie konkluduje, że wielowarstwowe spojrzenie na ruch kończyny górnej wypełnia istotną lukę w istniejących zasobach i powinno przyspieszyć postęp w kierunku technologii ubieralnych, które rozumieją i wspomagają nasze ruchy ramion w sposób naturalny i intuicyjny.

Cytowanie: Fritsche, O., Camacho, S., Hossain, M.S.B. et al. ULTRA-MoCap: A Multimodal IMU and sEMG Dataset for Upper Body Joint Kinematics Analysis. Sci Data 13, 622 (2026). https://doi.org/10.1038/s41597-026-06687-5

Słowa kluczowe: ruch kończyny górnej, czujniki ubieralne, elektromiografia, zestaw danych motion capture, technologia rehabilitacyjna