Набор данных ЭЭГ для декодирования мысленного письма: штрихи китайских иероглифов и отдельные гласные пиньиня

Переосмысление письма без движений

Для людей, которые утратили способность писать после инсульта или травмы, простая запись заметки может стать невозможной. Интерфейсы «мозг‑компьютер» стремятся преодолеть этот разрыв, превращая мысли напрямую в текст или движение. До сих пор наиболее успешные системы опирались на импланты в мозг — мощные, но инвазивные решения. Эта работа делает важный шаг в направлении более безопасной альтернативы, публикуя первую открытую коллекцию записей мозговых волн людей, представляющих себе штрихи китайских иероглифов и гласные пиньиня, что открывает путь для будущих неинвазивных инструментов «мысль‑в‑текст».

Почему сигналы мозга важны для письма

Рукописный текст — удивительно эффективный способ коммуникации: он быстр, компактен и знаком практически каждому. Многие работы по интерфейсам «мозг‑компьютер» сосредотачивались на крупных, простых движениях, таких как тянущееся движение или захват, либо на поочерёдном выборе букв с помощью мысленного «курсор‑управления». Впечатляющие исследования с имплантируемыми электродами уже показали, что декодирование мысленного письма возможно на скоростях, близких к обычной печати. Но хирургическое вмешательство в мозг нереалистично для большинства пациентов, а долговременная стабильность имплантов вызывает вопросы. Неинвазивный подход с записью мозговых волн с поверхности головы с помощью электродов может быть широко применим в клиниках, домах и реабилитационных центрах — при условии, что учёным удастся надёжно считывать слабые, зашумлённые сигналы, связанные с воображаемыми движениями пера.

Создание богатой библиотеки мозговых волн

Чтобы справиться с этой задачей, исследователи набрали 21 здорового праворукого взрослого и записывали их мозговую активность с помощью шапочки с 32 датчиками. Каждый участник прошёл два сеанса, проведённых с интервалом не менее суток, что позволило оценить стабильность сигналов со временем. Команда использовала две тщательно продуманные ментальные задачи. В первой добровольцы представляли себе написание пяти базовых штрихов, используемых при построении китайских иероглифов — простых линий и изгибов, которые в комбинации могут образовать почти любой символ. Во второй задаче они представляли себе написание шести отдельных гласных ханью пиньиня, представляющих знакомые округлые и загнутые формообразующие элементы. Каждый пробный эпизод начинался с короткой визуальной анимации штриха или гласной, чтобы напомнить участникам движение, затем экран погружался в темноту, и они молча воображали проведение этого штриха один раз в уме.

От сырых сигналов ЭЭГ к декодируемым шаблонам

Во всех задачах и сеансах исследование сгенерировало 18 480 четырёхсекундных эпизодов воображения — большой и стандартизированный набор данных по современным меркам интерфейсов «мозг‑компьютер». Сигналы записывались с очень высокой частотой и затем аккуратно организовывались согласно международному стандарту для данных脑, чтобы другие исследователи могли легко их анализировать. Хотя опубликованные файлы сохраняют сырые записи, авторы также описали и выпустили пример кода для обработки. В собственных тестах они фильтровали сигналы, корректировали неисправные электроды, уменьшали объём данных и нормализовали каналы перед обучением компактной модели глубокого обучения под названием EEGNet. Эта модель разработана так, чтобы выявлять, где в мозге и в какие моменты времени появляются важные паттерны, что делает её подходящей для кратких всплесков активности, сопровождающих воображаемые движения пера.

Насколько хорошо можно прочитать мысленное письмо?

Используя EEGNet, команда проверяла, с какой точностью компьютер может определить, какой штрих или гласную представляет человек. При обучении и тестировании в пределах одного сеанса средние показатели точности были значительно выше случайного угадывания: более 70 % для задачи с пятью штрихами и около 67 % для задачи с шестью гласными, у некоторых участников точность превышала 80 %. Что важнее для практического применения, модели, обученные в один день и протестированные в другой, также показали устойчивые результаты — около 63 % для штрихов и 60 % для гласных — что свидетельствует о достаточно стабильных во времени паттернах мозга для этих ментальных действий. Люди с предыдущим опытом использования интерфейсов «мозг‑компьютер» обычно показывали более высокие показатели, что намекает на то, что пользователи могут обучаться генерировать более чёткие и последовательные мозговые сигналы. Исследователи также обнаружили, что высоко результативные участники демонстрировали более сфокусированную активность в областях мозга, связанных с управлением рукой и пространственным планированием, тогда как у низко результативных участников паттерны были более рассеянными, что указывает на возможные мишени для тренировки или обратной связи.

Что это означает для будущих средств общения

Вместо готового устройства эта работа предлагает тщательно построенную основу: общедоступную, богато аннотированную коллекцию записей мозговой активности, полученной при мысленном письме по‑китайски. Сосредоточившись как на строительных блоках иероглифов (штрихах), так и на плавных формах гласных, набор данных фиксирует разные аспекты мелкой моторики и планирования. Результаты показывают, что даже при неинвазивной записи с поверхности головы компьютеры могут надежно различать множество воображаемых движений письма и сохранять эту производительность между днями. Для пациентов, которые не могут двигаться или говорить, будущие системы, построенные на этом ресурсе, в перспективе могут позволить «писать» предложения просто представляя в уме штрихи и формы символов.

Цитирование: Wang, F., Chen, Y., Wang, P. et al. An EEG dataset for handwriting imagery decoding of Chinese character strokes and Pinyin single vowels. Sci Data 13, 332 (2026). https://doi.org/10.1038/s41597-026-06708-3

Ключевые слова: интерфейс «мозг‑компьютер», электроэнцефалография, мысленное письмо, китайские иероглифы, гласные пиньиня