Кора головного мозга и многомерное представление движений при письме: последствия для нейропротезов

Почему это важно для будущей коммуникации

Для людей с параличом, которые не могут двигать руками, способность «писать», используя только активность мозга, может вернуть быстрый и естественный способ общения. В этом исследовании подробно изучается, как человеческий мозг контролирует письмо — гораздо глубже, чем просто путь пера по бумаге. Выявляя дополнительные скрытые сигналы, которыми пользуется мозг — например, силу нажатия, движения в воздухе между штрихами и рекрутирование мышц — работа указывает путь к интерфейсам мозг–компьютер, которые могут точнее и надежнее превращать воображаемое письмо в текст.

Письмо как окно в разум

Письмо — одно из самых отработанных умений человека, сочетающее тонкое управление движением, временные соотношения и личный стиль. Исследователи давно используют письмо для изучения заболеваний мозга, таких как болезнь Паркинсона, и для создания систем распознавания почерка. В последнее время учёные показали, что интерфейсы мозг–компьютер могут декодировать воображаемое письмо, позволяя парализованным людям «писать» буквы или рисовать траектории в уме и видеть их преобразованными в текст на экране. Однако большинство таких систем рассматривают письмо как плоское, двумерное движение по странице, игнорируя, что реальное письмо также включает подъёмы пера, изменения высоты, силу захвата и тонкую мышечную активность.

Заглядывая в мозг во время воображаемого письма

Авторы записывали активность отдельных нейронов в моторной области мозга у мужчины с высоким повреждением спинного мозга, который больше не мог двигать конечностями. Крошечные массивы электродов были имплантированы над участком коры, обычно контролирующим руку. Пока он смотрел видео, показывающие, как писать цифры и китайские иероглифы, он пытался мысленно проследить каждый штрих и подъём пера. Исследователи показали, что нейроны всё ещё следуют классическим закономерностям, наблюдаемым при здоровом движении: многие клетки отдавали предпочтение определённым направлениям движения, и эти шаблоны были достаточно сильны, чтобы компьютер мог декодировать форму цифр в отдельных попытках, узнаваемых человеком. Любопытно, что при рассмотрении всего символа как простого 2D-движения распознавание было значительно лучше для штрихов на бумаге, чем для движений в воздухе между ними, что указывало на недостающие в модели компоненты.

Добавление глубины, силы и мышечной активности

Чтобы восполнить эту недостающую информацию, команда собрала подробные данные письма у шести здоровых добровольцев, писавших те же символы. Они отслеживали кончик пера в трёх измерениях, измеряли силу захвата, давление пера на бумагу и записывали электрическую активность мышц предплечья. Эти записи показали, что подъёмы пера — это не просто прямые линии в воздухе: они дугообразны и часто перепрыгивают точку, прежде чем вернуться вниз, и сопровождаются изменениями захвата и мышечной активности даже когда перо не касается страницы. Многие из этих особенностей были сильно стереотипны у разных людей, что позволяло использовать усреднённый шаблон как представление движения, которое пытался мысленно воспроизвести парализованный участник.

Как мозг смешивает множество сигналов движения

Совместив многомерные шаблоны письма здоровых добровольцев с нейронной активностью парализованного участника, исследователи проверили, какие признаки лучше объясняют спайковую активность каждой клетки. Модели, включавшие только плоскую 2D-скорость, оставляли значительную часть нейронной изменчивости необъяснённой. При добавлении высоты пера, вертикальной скорости, силы захвата, давления и сигналов, связанных с мышцами, большая часть нейронных паттернов становилась объяснимой. Разные нейроны несли смеси этих «ингредиентов»: одни были наиболее чувствительны к общей скорости, другие — к мышечным сигналам или вертикальному движению, а многие комбинировали два или три признака одновременно. Критично, включение дополнительных измерений, таких как вертикальное движение и мышечная активность, улучшало способность моделей описывать как штрихи на странице, так и подъёмы пера в воздухе.

Преобразование более плотных сигналов мозга в понятное письмо

Затем команда проверила, может ли декодирование этих дополнительных измерений реально улучшить коммуникацию. С помощью модели машинного обучения они испытали две стратегии: одну, которая декодировала только 2D-скорость пера, и другую, которая декодировала более богатый набор признаков, включая вертикальное движение, силу захвата и давление. Для распознавания писавшегося символа они сравнивали декодированные паттерны с библиотекой эталонных символов от здоровых писателей, используя метод выравнивания по времени, который способен согласовать последовательности, даже если они записаны с разной скоростью. Когда использовалось только плоское 2D-движение, распознавание работало лишь иногда. При включении полного многомерного набора точность заметно возросла, приблизившись к тому, что около половины символов распознавались правильно, несмотря на то, что пользователь был полностью парализован и лишь представлял движения.

Что это значит для будущих нейропротезов

Эта работа показывает, что двигательная кора не кодирует письмо как простые линии на странице. Вместо этого она представляет богатое, многомерное действие, включающее штрихи, подъёмы пера, глубину, силу и мышечные шаблоны одновременно. Для интерфейсов мозг–компьютер это означает, что декодеры должны стремиться восстанавливать полную, трёхмерную и учитывающую силу версию письма, а не просто трассировать плоский путь. Хотя текущая система пока недостаточно быстра и точна для повседневного использования, сочетание такого многомерного декодирования с продвинутыми языковыми моделями может значительно улучшить перевод мыслей в текст и приблизить восстановление естественной способности к письму для людей, лишённых возможности двигать руками.

Цитирование: Wang, Z., Xu, G., Yu, B. et al. Cortical representation of multidimensional handwriting movement and implications for neuroprostheses. Nat Commun 17, 3966 (2026). https://doi.org/10.1038/s41467-026-70536-7

Ключевые слова: интерфейс мозг-компьютер для письма, двигательная кора, нейропротетическая коммуникация, многомерное движение, паралич