Модель‑независимое онлайн‑обучение с линейной памятью в спайковых нейронных сетях

Почему тренировать «мозго‑подобные» компьютеры так сложно

Спайковые нейронные сети — класс искусственных сетей, которые обмениваются короткими электрическими импульсами, подобно реальным клеткам мозга. Они обещают крайне энергоэффективные, вдохновлённые мозгом вычисления и более правдоподобные симуляции нейронных цепей. Но обучить такие сети выполнению сложных задач, особенно на длительных временных отрезках, обычно требует огромных объёмов памяти и много ручного кода. В этой статье представлена система BrainTrace, разработанная, чтобы сделать обучение спайковых сетей практически выполнимым и доступным широкой общественности.

Обучение сетей, которые учатся в реальном времени

Большинство мощных методов обучения для мозго‑подобных сетей работают, проигрывая всю последовательность активности и распространяя сигналы ошибки обратно через каждый временной шаг. Этот подход, известный как обратное распространение через время, может быть очень точным, но быстро упирается в ограничения при длинных последовательностях или больших сетях: необходимо сохранять все промежуточные состояния, что приводит к росту потребности в памяти, пропорциональному и времени, и размеру сети. Альтернативные «онлайн» методы обновляют связи по мере поступления данных, значительно снижая требования к хранению. Однако существующие онлайн‑правила либо применимы лишь к сильно упрощённым моделям нейронов, либо всё ещё требуют памяти, растущей квадратично с размером сети, что затрудняет их применение к реалистичным системам масштаба мозга.

Универсальный рецепт для многих типов спайковых сетей

BrainTrace решает эту проблему, сначала задав единое описание спайковых сетей. Авторы показывают, что многие типы нейронов и синапсов можно выразить как взаимодействие двух компонентов: внутренней динамики, описывающей, как состояние каждого нейрона меняется во времени, и динамики взаимодействия, превращающей входящие спайки в токи, протекающие между клетками. Они также вводят два моделирующих подхода, названных AlignPre и AlignPost, которые организуют синапсы либо вокруг отправляющего нейрона, либо вокруг принимающего. Эта абстракция позволяет одной и той же математической аппаратуре обрабатывать широкий спектр биологических и инженерных моделей — от простых утечечных нейронов до более сложных клеток с адаптивными порогами и комплексными синапсами.

Экономный по памяти способ отслеживать причинно‑следственные связи

Ключевая задача в онлайн‑обучении — отслеживать, как малые изменения в каждой связи в конечном итоге повлияют на поведение сети, величину, описываемую так называемыми «следами пригодности» (eligibility traces). В принципе, хранение полной информации о пригодности требует отслеживания огромных матриц, масштаб которых растёт примерно как куб числа нейронов. BrainTrace использует три ключевых свойства спайковых сетей: большинство нейронов молчат большую часть времени; собственная утечка и сброс нейрона доминируют в изменении его состояния; и спайки и синаптические проводимости всегда неотрицательны. Опираясь на эти факты, авторы показывают, что тяжёлые матрицы пригодности можно близко аппроксимировать через произведение всего двух компактных следов на синапс — одного, суммирующего пресинаптическую активность, и другого, суммирующего постсинаптическую активность. Это правило пред‑пост распространения, названное pp‑prop, использует память, растущую только линейно с размером сети, при этом генерируя градиенты, хорошо согласующиеся с градиентами полного обратного распространения.

Автоматические инструменты, скрывающие математику

Помимо самого правила обучения, BrainTrace включает компилятор, играющий роль, похожую на библиотеки автоматического дифференцирования в глубоком обучении. Пользователь описывает динамику своей спайковой модели на языке высокого уровня. Компилятор BrainTrace затем анализирует, как связаны состояния и параметры, конструирует необходимые следы пригодности и генерирует оптимизированный код, который эффективно выполняет pp‑prop или связанный алгоритм на CPU, GPU или специализированных ускорителях. Это позволяет моделистам сосредоточиться на научных вопросах вместо ручной разработки хрупкого кода градиентов, при этом сохраняя преимущества онлайн‑обучения с экономным использованием памяти.

От крошечных датчиков до целого мозга мухи

Авторы тестируют BrainTrace на стандартных нейроморфных бенчмарках, где спайковые сети классифицируют событийные версии изображений, звуков и жестов. На нескольких наборах данных и архитектурах pp‑prop сопоставим по точности с полным обратным распространением, требуя при этом на порядки меньше памяти и работая быстрее, чем другие онлайн‑методы. Важно, что система также масштабируется до сложных задач нейронауки. В одном примере биологически детализированная спайковая сеть с отдельными возбуждающими и тормозящими популяциями обучается задаче накопления доказательств и вырабатывает паттерны активности, напоминающие данные, полученные из коры мыши. В другом примере спайковая модель с более чем 125 000 нейронами, соединённая в соответствии с коннектомой плодовой мухи, обучается воспроизводить активность в состоянии покоя, записанную по всему мозгу мухи — достижение, превышающее ёмкость памяти при традиционном обучении на одной графической карте.

Что это значит для будущих мозго‑подобных вычислений

Для неспециалистов главный вывод таков: BrainTrace превращает когда‑то непрактичную мечту — обучение богатых, мозговых по масштабу спайковых сетей в реальном времени — в реалистичную возможность. Найдя изящный способ отслеживать причинно‑следственные связи при помощи лишь небольшого объёма памяти и обернув это в автоматические инструменты, работа приближает вдохновлённые мозгом вычисления к повседневному использованию как в искусственном интеллекте, так и в фундаментальной нейронауке. Это указывает путь к машинам, которые учатся и адаптируются с эффективностью и временной точностью реальных нервных систем, не требуя ресурсов уровня суперкомпьютера.

Цитирование: Wang, C., Dong, X., Ji, Z. et al. Model-agnostic linear-memory online learning in spiking neural networks. Nat Commun 17, 1745 (2026). https://doi.org/10.1038/s41467-026-68453-w

Ключевые слова: спайковые нейронные сети, онлайн‑обучение, нейроморфные вычисления, моделирование мозга, обучение на основе градиентов