Adaptacja prototypów przy niewielu przykładach dla uogólnialnego rozpoznawania gestów z elektromiografii

Nauczanie maszyn czytania sygnałów mięśniowych

Wyobraź sobie sterowanie protezą dłoni, kursorem na ekranie lub rękawicą w wirtualnej rzeczywistości jedynie przez napinanie mięśni przedramienia. Ten scenariusz wymaga niezawodnego przekształcenia słabych sygnałów elektrycznych z mięśni w rozpoznawalne gesty. W praktyce sygnały te zmieniają się z dnia na dzień i między osobami, co zmusza użytkowników do długich i męczących sesji kalibracyjnych. W artykule przedstawiono EMG-Adapt, nową metodę, która uczy się wzorców mięśniowych szybko, na podstawie zaledwie kilku przykładów, przybliżając bardziej praktyczne i przyjazne użytkownikowi urządzenia sterowane sygnałami mięśniowymi.

Dlaczego sygnały mięśniowe są trudne w użyciu

Elektromiografia (EMG) mierzy drobne aktywności elektryczne w mięśniach za pomocą czujników umieszczonych na skórze. Sygnały te niosą bogatą informację o zamierzanych ruchach, ale są również wyjątkowo niestabilne. Ten sam gest dłoni może wyglądać inaczej w danych, jeśli elektrody przesuną się nieznacznie, jeśli użytkownik jest zmęczony, albo jeśli osoba ma inną budowę ciała. Systemy działające dobrze w laboratorium często zawodzą, gdy testuje się je po kilku dniach lub na nowej osobie. Zebranie wystarczającej ilości oznaczonych danych od każdego użytkownika jest wolne i męczące, szczególnie dla osób po amputacji, które najwięcej zyskałyby na lepszym sterowaniu protezą.

Wyłapywanie stabilnego „bicia serca” gestu

EMG-Adapt najpierw przeciwdziała tej niestabilności, przekształcając surowe sygnały mięśniowe w bardziej stabilną reprezentację. Zamiast podawać sieci neuronowej tysiące surowych punktów danych, autorzy streszczają sygnał każdego czujnika do zwartej liczby reprezentującej jego ogólny „odcisk palcowy” spektralny. Robią to, uśredniając współczynniki cepstralne — sposób opisu rozkładu energii sygnału w częstotliwościach. Poprzez uśrednianie w czasie i między kanałami czujników metoda tłumi przemijające zakłócenia i uwypukla części sygnału, które pozostają spójne przy każdym wykonaniu danego gestu. To skondensowane opisanie zmienia chaotyczne, specyficzne dla użytkownika ślady w czyściejsze sygnatury, które lepiej uogólniają się między sesjami i osobami.

Uczenie prototypów gestów

Drugą kluczową ideą jest nauczenie modelu prototypu — swego rodzaju archetypicznego odcisku — dla każdego gestu. Lekka jednowymiarowa sieć konwolucyjna konwertuje zwarte cechy EMG na punkty w abstrakcyjnej przestrzeni. Podczas treningu system oblicza punkt centralny (prototyp) dla każdego gestu na podstawie jego przykładów i delikatnie przyciąga nowe przykłady tego gestu ku temu centrum, jednocześnie odpychając inne gesty. To jest egzekwowane za pomocą hybrydowego celu treningowego: jedna część koncentruje się na poprawnej klasyfikacji gestów, a druga kształtuje geometrię wyuczonej przestrzeni tak, aby przykłady tego samego gestu tworzyły zwarte, dobrze rozdzielone klastry. W czasie testu model używa tylko wydajnej warstwy klasyfikacyjnej, ale korzysta ze struktury reprezentacji wytworzonej dzięki prototypom.

Nauka nowych użytkowników na zaledwie kilku przykładach

Trzecim składnikiem jest meta-uczenie — strategia treningowa, w której model ćwiczy adaptację do wielu małych zadań klasyfikacyjnych, aby stać się dobrym w uczeniu się z bardzo niewielu próbek. Korzystając z metody zwanej Reptile, EMG-Adapt wielokrotnie symuluje sytuacje, w których musi rozróżnić zaledwie kilka gestów na podstawie kilku przykładów każdy. W obrębie każdego symulowanego zadania ponownie oblicza prototypy gestów wraz z aktualizacją parametrów sieci, pozwalając prototypom współewoluować z cechami. Po wielu takich zadaniach i uczestnikach model uczy się inicjalizacji, którą można szybko dostroić do nowego użytkownika lub sesji po zobaczeniu tylko niewielkiej liczby oznaczonych przykładów — czasem zaledwie 5, 10 lub 20 próbek na gest.

Dowód skuteczności w realistycznych warunkach

Aby przetestować EMG-Adapt, autorzy wykorzystali pięć dużych, publicznie dostępnych zbiorów danych EMG (kolekcja Ninapro), które zawierają dziesiątki gestów ręki i nadgarstka zarówno od osób sprawnych, jak i po amputacjach. Ocenili dwie trudne scenariusze: cross-session (trenowanie i testowanie w różnych dniach u tej samej osoby) oraz cross-user (trenowanie na niektórych osobach i testowanie na zupełnie nowych). W obu scenariuszach EMG-Adapt konsekwentnie dorównywał lub przewyższał metody będące stanem techniki, zwłaszcza gdy do adaptacji dostępnych było tylko kilka próbek. Okazał się także bardziej wydajny: jednowymiarowa sieć zużywała znacznie mniej pamięci i trenowała szybciej niż standardowe sieci w stylu obrazowym, a w czasie rzeczywistym działał zarówno na wydajnych maszynach, jak i na kompaktowych urządzeniach opartych na ARM.

Co to oznacza dla przyszłych protez i interfejsów

Dla osób niezaznajomionych ze specjalistycznymi detalami, główne przesłanie jest takie, że EMG-Adapt ułatwia maszynom rozumienie naszych sygnałów mięśniowych bez żądania długich, wyczerpujących sesji treningowych. Łącząc stabilny sposób streszczania sygnałów EMG, spojrzenie na gesty oparte na prototypach oraz reżim treningowy oparty na szybkiej adaptacji, ramy te mogą szybko spersonalizować się do nowych użytkowników i warunków. Może to zmniejszyć frustrację związaną z rekonfiguracją dla użytkowników protez dłoni, urządzeń wspomagających czy środowisk sterowanych gestami, a także tworzy podwaliny pod systemy, które uczą się ciągle w tle, podczas naszych codziennych zajęć.

Cytowanie: Lee, H., Lim, B., Jiang, M. et al. Few-shot prototype adaptation for generalizable electromyography gesture recognition. Sci Rep 16, 12546 (2026). https://doi.org/10.1038/s41598-026-40352-6

Słowa kluczowe: elektromiografia, rozpoznawanie gestów, sterowanie protezami, uczenie się przy niewielu przykładach, interakcja człowiek-komputer