Адаптация прототипов с небольшим числом примеров для обобщающего распознавания жестов по электромиографии

Обучение машин «читать» мышечные сигналы

Представьте, что можно управлять протезом кисти, курсором на экране или перчаткой виртуальной реальности, просто напрягая мышцы предплечья. Эта перспектива требует надежного перевода слабых электрических сигналов мышц в распознаваемые жесты. Однако в реальной жизни эти сигналы меняются день ото дня и от человека к человеку, что вынуждает пользователей проходить долгие и утомительные процедуры калибровки. В этой работе представлен EMG-Adapt — новый метод, который быстро усваивает мышечные шаблоны всего по нескольким примерам, приближая более практичные и удобные устройства с управлением от мышц.

Почему мышечные сигналы так трудно использовать

Электромиография (ЭМГ) измеряет крошечную электрическую активность мышц с помощью датчиков на коже. Эти сигналы несут богатую информацию о наших намерениях движений, но при этом крайне нестабильны. Один и тот же жест руки может выглядеть по-разному в данных, если электроды сместились, если пользователь устал или если у человека другая конституция тела. Системы, работоспособные в лаборатории, часто терпят неудачу при проверке через несколько дней или на новом человеке. Сбор достаточного количества помеченных данных от каждого пользователя медленный и утомительный, особенно для людей с ампутациями, которые сильнее всего выиграют от улучшенного управления протезами.

Фиксация стабильного «ритма» жеста

EMG-Adapt сначала борется с этой нестабильностью, преобразуя сырые мышечные сигналы в более устойчивое представление. Вместо того чтобы подавать в нейросеть тысячи необработанных точек данных, авторы сводят сигнал каждого датчика к компактному числу, отражающему его спектральный «отпечаток». Они делают это, усредняя коэффициенты кепструма — способ описания распределения энергии сигнала по частотам. Усредняя по времени и каналам датчиков, метод подавляет мимолетный шум и выделяет те части сигнала, которые остаются постоянными при повторении одного и того же жеста. Это сжатое описание превращает шумные, зависящие от пользователя следы в более чистые подписи, которые лучше обобщаются между сессиями и людьми.

Обучение прототипам жестов

Второй ключевой момент — позволить модели выучить прототип, своего рода архетипический отпечаток, для каждого жеста. Легковесная одномерная сверточная нейронная сеть преобразует компактные ЭМГ-признаки в точки в абстрактном пространстве. Во время обучения система вычисляет центральную точку (прототип) для каждого жеста на основе примеров и мягко притягивает новые примеры этого жеста к этому центру, одновременно отталкивая отличающиеся жесты. Это достигается гибридной функцией обучения: одна часть сосредоточена на правильной классификации жестов, а другая формирует геометрию выученного пространства так, чтобы примеры одного жеста образовывали плотные, хорошо разделенные кластеры. При тестировании модель использует только эффективный классификационный слой, но выигрывает от структурированного представления, созданного с помощью прототипов.

Обучение новым пользователям по нескольким примерам

Третьим элементом является метаобучение — стратегия тренировки, в которой модель практикуется в адаптации к множеству небольших задач классификации, чтобы научиться быстро учиться по очень небольшому числу образцов. С помощью метода Reptile EMG-Adapt многократно моделирует ситуации, в которых требуется различать лишь несколько жестов, имея по нескольку примеров каждого. В рамках каждой симулированной задачи прототипы жестов пересчитываются по мере обновления параметров сети, что позволяет прототипам сосуществовать и развиваться вместе с признаками. За множество таких задач и субъектов модель вырабатывает инициализацию, которую можно быстро настроить для нового пользователя или сессии после показа лишь небольшого числа помеченных примеров — иногда всего 5, 10 или 20 образцов на жест.

Доказательства эффективности в реалистичных условиях

Для проверки EMG-Adapt авторы использовали пять больших общедоступных наборов данных ЭМГ (коллекция Ninapro), которые включают десятки жестов кисти и запястья как от здоровых людей, так и от ампутантов. Они оценили два сложных сценария: межсессионный (обучение и тест в разные дни у одного человека) и межпользовательский (обучение на одних людях и тест на совершенно новых). В обоих сценариях EMG-Adapt последовательно сопоставлял или превосходил современные методы, особенно когда допускалось лишь несколько адаптационных образцов. Он также оказался более экономичным: одномерная сеть использовала существенно меньше памяти и обучалась быстрее по сравнению со стандартными сетями в стиле обработки изображений, и работала в реальном времени как на мощных машинах, так и на компактных устройствах на базе ARM.

Что это значит для будущих протезов и интерфейсов

Для неспециалистов ключевой посыл в том, что EMG-Adapt делает гораздо проще для машин понимание наших мышечных сигналов без необходимости в длительных и изнурительных сессиях обучения. Сочетая устойчивый способ суммирования ЭМГ-сигналов, прототипный взгляд на жесты и режим практики, ориентированный на быструю адаптацию, эта схема быстро персонализируется под новых пользователей и условия. Это может снизить разочарование при перекалибровке у людей, использующих протезы кисти, вспомогательные устройства или управляемые жестами виртуальные среды, и закладывает основу для будущих систем, которые будут обучаться непрерывно в фоновом режиме по мере нашей повседневной жизни.

Цитирование: Lee, H., Lim, B., Jiang, M. et al. Few-shot prototype adaptation for generalizable electromyography gesture recognition. Sci Rep 16, 12546 (2026). https://doi.org/10.1038/s41598-026-40352-6

Ключевые слова: электромиография, распознавание жестов, управление протезом, обучение с небольшим числом примеров, взаимодействие человек-компьютер