Estymacja pozycji człowieka oparta na IMU i projektowaniu skoncentrowanym na człowieku — lekki system noszony

Dlaczego szybsze śledzenie ciała ma znaczenie

Od klinik fizjoterapii po zestawy VR — wiele nowych technologii opiera się na zrozumieniu, jak nasze ciało porusza się w czasie rzeczywistym. Obecnie często wymaga to kamer, markerów lub dużych komputerów, których trudno używać przez cały dzień. W tej pracy badamy, jak niewielkie czujniki ruchu, podobne do tych w smartfonach i zegarkach, można połączyć z inteligentnymi algorytmami, aby niemal natychmiast oszacować pełną pozę ciała, przy bardzo niskim poborze energii. Cel jest prosty: uczynić śledzenie ruchu wystarczająco dokładnym do zastosowań praktycznych, a jednocześnie na tyle lekkim i wydajnym, by zniknęło w codziennych urządzeniach noszonych.

Małe czujniki, duże ruchy

Praca koncentruje się na jednostkach pomiaru bezwładności, czyli IMU — urządzeniach wielkości pudełka zapałek mierzących przyspieszenie i obroty. Umieszczone w kilku kluczowych punktach ciała, IMU potrafią wykrywać nasze ruchy nawet wtedy, gdy kamery nie mają do nich dostępu — na przykład w zatłoczonych pomieszczeniach lub na zewnątrz w nocy. Wyzwanie polega na tym, że przekształcenie surowych odczytów z czujników w szczegółową trójwymiarową pozę jest skomplikowaną łamigłówką: urządzenie ma tylko kilka sygnałów, a musi wnioskować położenie wielu stawów u różnych osób wykonujących różne czynności. Poprzednie metody używały dużych sieci neuronowych, takich jak głębokie sieci rekurencyjne i Transformery, które są dokładne, lecz ciężkie — wymagają dużo pamięci, energii i czasu, przez co nie nadają się do małych urządzeń noszonych.

Nauczanie małego modelu, by myślał jak duży

Autorzy proponują dwuetapową strategię inspirowaną tym, jak uczeń uczy się od nauczyciela. Podczas treningu w laboratorium używają dużego, wydajnego modelu Transformer jako „nauczyciela”, który dogłębnie analizuje dane z czujników w czasie i w różnych lokalizacjach ciała. Równolegle projektują mniejszy model „ucznia” zbudowany z operacji zwanej involucją, która elastycznie dostosowuje się do lokalnych wzorców w danych przy użyciu znacznie mniejszej liczby parametrów niż standardowa konwolucja. Poprzez proces zwany destylacją wiedzy, uczeń nie tylko dopasowuje końcowe wyjścia pozy; jest też nakierowywany, by naśladować wewnętrzne wzorce cech nauczyciela. Dzięki temu uczeń stopniowo przyswaja wysokopoziomowe sztuczki do odczytywania ruchu z czujników, bez potrzeby posiadania rozmiaru i złożoności nauczyciela po wdrożeniu.

Przekształcenie sieci treningowej w miniaturowy silnik uruchomieniowy

Aby model ucznia był naprawdę przyjazny dla urządzeń noszonych, badacze idą krok dalej, stosując procedurę zwaną reparametryzacją strukturalną. Podczas treningu blok ucznia zawiera kilka gałęzi, kroki normalizacji i adaptacyjne jądra, by maksymalizować elastyczność uczenia. Przed wdrożeniem wszystkie te elementy są matematycznie łączone w pojedyncze uproszczone obliczenie, które zachowuje się jak dwie proste jedno-wymiarowe konwolucje. Ten proces składania zachowuje zachowanie modelu, ale eliminuje dodatkowe warstwy i operacje. Ponieważ standardowa konwolucja jest silnie zoptymalizowana na nowoczesnym sprzęcie, ta transformacja drastycznie skraca czas i zużycie energii potrzebne do przetworzenia każdej klatki, bez utraty tego, czego model się nauczył.

Jak to działa w praktyce?

Zespół ocenia swoje podejście na dwóch publicznych zbiorach danych ruchu, DIP-IMU i IMUPoser, które zawierają miliony klatek ludzi wykonujących codzienne i sportowe czynności, rejestrowane jednocześnie za pomocą IMU i wysokoprecyzyjnych systemów motion-capture. Ich lekki model dorównuje lub niemal dorównuje najlepszym istniejącym metodom pod względem średniego błędu stawów — 81 milimetrów na DIP-IMU i 94 milimetry na IMUPoser, co stanowi około 1% od najsilniejszych punktów odniesienia. Jednocześnie działa od jednego do dwóch rzędów wielkości szybciej: każda klatka jest przetwarzana w przybliżeniu w 0,011–0,012 milisekundy, w porównaniu z kilkoma dziesiątymi milisekundy do prawie pełnej milisekundy dla konkurencyjnych systemów. Ta szybkość przekłada się na dziesiątki tysięcy klatek na sekundę na GPU, znacznie wykraczając poza to, czego faktycznie potrzebuje urządzenie noszone, pozostawiając dużo miejsca na oszczędność baterii i inne zadania na urządzeniu.

Co to oznacza dla codziennych urządzeń noszonych

Dla odbiorców niebędących specjalistami kluczowe przesłanie jest takie, że autorzy znaleźli sposób na oddzielenie „intensywnego myślenia” od „szybkiego działania”. Duży model może intensywnie analizować ruch człowieka podczas treningu, aby zrozumieć go w bogatych szczegółach, podczas gdy dużo mniejszy model — starannie nauczony i następnie uproszczony — wykonuje pracę w czasie rzeczywistym na Twojej opasce, zestawie na głowę lub ortezie. Efekt to śledzenie ciała prawie tak dokładne jak ciężkie systemy laboratoryjne, ale na tyle szczupłe, by działać w niskomocowych, zawsze aktywnych urządzeniach. To toruje drogę dla noszonych urządzeń, które mogą udzielać terminowego feedbacku podczas ćwiczeń, ostrzegać przed niebezpiecznymi ruchami w pracy lub sprawić, że wirtualne światy będą bardziej naturalnie reagować na nasze ciało — wszystko to bez masywnego sprzętu i szybkiego rozładowywania baterii.

Cytowanie: Wang, L., Liu, J., Xue, J. et al. Human-centered design-based lightweight wearable IMU human pose estimation. Sci Rep 16, 11420 (2026). https://doi.org/10.1038/s41598-026-41004-5

Słowa kluczowe: czujniki noszone, estymacja pozycji ciała, jednostki pomiaru bezwładności, lekkie sieci neuronowe, śledzenie ruchu w czasie rzeczywistym