Симбиотическое рисование мозг‑компьютер через визуальные интерфейсы

Рисование силой мысли

Представьте, что вы делаете набросок, не шевеля ни мышцей — без мышки, без стилуса и даже без движения глаз — просто думая о форме, которую хотите изобразить. Это исследование демонстрирует раннюю, но работоспособную версию именно такой системы: простое, недорогое устройство, которое позволяет людям «рисовать мыслями» базовые формы и цифры, объединяя активность мозга с адаптирующейся компьютерной программой.

Как мозговые сигналы «говорят» с экраном

Исследователи создали неинвазивный интерфейс мозг‑компьютер (BCI), используя простую повязку с тремя электродами, один из которых расположен над зрительной корой. На экране компьютера десять белых дисков мерцают с небольшими различиями в частоте на тёмном фоне. Испытуемому предлагают спокойно представить простую форму — например букву, геометрическую фигуру или рукописную цифру — и посмотреть на тот мерцающий диск, который максимально накладывается на воображаемый объект. Поскольку каждый диск мерцает в своём ритме, электрическая реакция мозга на этот ритм улавливается повязкой. Анализируя эти «стационарные вызванные визуальные потенциалы», система определяет, на какой диск направлено внимание, и рассматривает этот диск как маленькую часть мысленного рисунка.

Построение изображения шаг за шагом

Изображение не появляется сразу полностью. Процесс идёт короткими раундами по нескольку секунд. В каждом раунде испытуемый выбирает диск с наилучшим перекрытием его воображаемого объекта. Система регистрирует силу мозговой реакции и присваивает этому диску вес. За 25 таких раундов взвешенные положения дисков складываются, как точки на холсте, формируя изображение. Умная «политика» затем решает, где разместить следующий набор дисков, концентрируя выборку на наиболее перспективных областях экрана. Одна версия этой политики вдохновлена тем, как ранняя зрительная система обнаруживает края и текстуры; другая, более быстрая, использует машинно‑обученные строительные блоки, полученные из тысяч рукописных цифр. В обоих случаях компьютер адаптируется к растущему рисунку, уточняя намерение пользователя.

Насколько хорошо работает рисование мыслями?

Восемь добровольцев использовали базовую версию системы, чтобы нарисовать по три простые формы. Команда сравнила полученные мысленные рисунки с целевыми изображениями, выполненными рукой, и в среднем обнаружила хорошее соответствие: восстановленные формы передавали основную структуру задуманых букв и символов, пусть и не пиксельно точно. С использованием теории информации исследователи оценили, сколько полезной информации в секунду несёт этот процесс. Адаптивное рисование мыслями достигло примерно 1,3 бита в секунду — уже выше, чем то, что прогнозируют для стандартных однонаправленных BCI на том же оборудовании. При включении ориентированной на цифры политики, основанной на данных, скорость передачи информации подпрыгнула до более чем 4 бит в секунду, но при этом ограничилась формами, похожими на те, что были в обучающем наборе.

От грубых набросков до насыщенных изображений

Чтобы исследовать, для чего могут пригодиться такие грубые нейрорисунки, команда объединила их с современным генератором изображений (Stable Diffusion). Система сначала создаёт грубую форму, полученную мысленно, затем подаёт её вместе с текстовым описанием в генератор изображений, который добавляет детали и стиль. Для запросов вроде «робот», «дерево», «лампа» или «самолёт» две разные сессии рисования мыслями по тому же описанию дали разные, но узнаваемо родственные итоговые картинки. Это показывает, как простые нейронные наброски однажды могут служить основой для богатой, персонализированной графики для коммуникации или творчества, тогда как детализацию берёт на себя искусственный интеллект, а не только интерфейс мозга.

Почему это важно и что дальше

Работа демонстрирует, что имея всего один недорогой сенсор для мозга и продуманную систему с обратной связью, человек может направлять компьютер на восстановление базовых воображаемых форм примерно за две минуты, а иногда и менее чем за минуту для цифр. Ключевой прогресс — не просто декодирование мозговых сигналов, а создание подлинного партнёрства, в котором компьютер многократно уточняет свои предположения, а человек просто выбирает наилучшее совпадение. Несмотря на ограничения — простые формы и зависимость от мерцающих пробников — этот подход даёт представление о будущих инструментах для людей, которые не могут говорить или двигаться свободно, а также для художников и дизайнеров, желающих визуализировать идеи со скоростью мысли.

Цитирование: Wang, G., Huang, Y., Muckli, L. et al. Symbiotic brain-machine drawing via visual brain-computer interfaces. npj Biomed. Innov. 3, 31 (2026). https://doi.org/10.1038/s44385-026-00086-6

Ключевые слова: интерфейс «мозг‑компьютер», рисование мыслями, ЭЭГ, визуальное воображение, содействующая коммуникация