PS-SNN: обучение разделению шаблонов для расширяемых спайковых нейронных сетей при пошаговом добавлении классов

Почему важно научить машины «помнить»

Современные системы ИИ впечатляют, но у них есть серьёзная слабость: когда они изучают что-то новое, они склонны забывать ранее выученное. Эта «амнезия» представляет собой серьёзное препятствие для роботов, телефонов и других устройств, которым нужно продолжать обучаться в меняющемся мире без полной переобучения. В статье про PS-SNN предложен вдохновлённый работой мозга способ помочь энергоэффективным спайковым нейросетям со временем осваивать новые категории, не теряя уже накопленных знаний — шаг к более умным и надёжным ИИ, способным работать на маломощном железе.

Проблема забывания со временем

Большинство моделей ИИ обучаются один раз на фиксированном наборе данных и затем развёртываются. В реальной жизни данные приходят волнами: камера может увидеть новые типы объектов в следующем месяце, которые ранее не были помечены. Когда стандартную нейросеть дообучают на эти новые категории, её внутренняя «пространственная характеристика» признаков меняется, и производительность по ранним категориям часто падает — явление, называемое катастрофическим забыванием. Это особенно остро в задачах с пошаговым добавлением классов (class-incremental learning), где система должна узнавать все ранее встречавшиеся классы, не зная, на каком этапе они были представлены. Спайковые нейронные сети, которые обмениваются короткими электрическими спайками, подобно биологическим нейронам, и привлекательны для энергоэффективных чипов, испытывают ту же проблему, но им уделено гораздо меньше внимания по сравнению с традиционными глубокими сетями.

Обучение через рост и разделение в мозге

Нейронаука предлагает две дополняющие друг друга идеи для пожизненного обучения. Во‑первых, мозг способен порождать новые нейроны, особенно в области, называемой гиппокампом, что позволяет сохранять свежие воспоминания, не перезаписывая старые. Во‑вторых, часть гиппокампа — зубчатая извилина — считается «разделителем шаблонов»: даже похожие события кодируются в виде раздельных, не перекрывающихся активностей, чтобы они не мешали друг другу. Существующие методы непрерывного обучения для спайковых сетей обычно сосредоточены на изменении структуры сети или повторном использовании старых данных, но при этом полагаются на случайно инициализированные выходные слои, что может приводить к дрейфу и пересечению внутренних представлений классов по мере появления новых задач. Авторы утверждают, что такой упущенный дизайн классификатора является ключевым источником нестабильности.

Как PS-SNN меняет процесс обучения

PS-SNN сочетает эти две вдохновлённые мозгом идеи в спайковой сети, разработанной для задач с пошаговым добавлением классов. По мере появления новых групп классов сеть растёт за счёт добавления новых модулей извлечения признаков, в то время как предыдущие модули фиксируются — что отражает нейрогенез и сохраняет прежние знания. Одновременно, вместо того чтобы каждый раз обучать новый выходной слой с нуля, методу присваивает каждой возможной категории заранее вычислённое направление в пространстве признаков. Эти направления сконструированы так, чтобы быть взаимно ортогональными — то есть каждая категория с самого начала прикреплена к отдельному, не перекрывающемуся слоту. В первой фазе обучения, называемой обучением разделению шаблонов, классификатор фиксируется, и адаптируются только извлекательные модули признаков, заставляя спайковое представление каждой категории плотно сходиться вокруг назначенного направления и уменьшая конфликты между старыми и новыми задачами.

Тонкая настройка решений без разрушения памяти

Ортогональные якоря значительно повышают стабильность, но они же делают систему жёсткой. Чтобы вернуть гибкость, PS-SNN добавляет вторую фазу, называемую уточняющим обучением шаблонов. Здесь извлекатели признаков фиксируются, и настраивается только классификатор с использованием тщательно сбалансированной смеси старых и новых примеров, чтобы никакая группа классов не доминировала. Эта фаза деликатно корректирует границы решений между уже хорошо разделёнными направляющими классов, улучшая различение — особенно для визуально похожих категорий — не нарушая при этом основных представлений, стабилизированных в первой фазе. Система также поддерживает небольшую память воспроизведения прошлых примеров, что помогает обеим фазам при умеренных требованиях к хранению.

Что означают результаты для будущего ИИ

Проверенная на стандартных наборках изображений, где классы появляются в несколько этапов, PS-SNN заметно превосходит ранее предложенные методы непрерывного обучения для спайковых сетей и даже сравнима или превосходит некоторые ведущие традиционные глубокие сети, при этом сохраняя энергосберегающие преимущества спайкового вычисления. Сочетая расширяемую структуру сети с фиксированными, хорошо разнесёнными якорями классов, подход резко уменьшает постепенный дрейф внутренних представлений, который обычно подрывает долгосрочное обучение. Для неспециалистов главный вывод таков: эта работа приближает ИИ к способности мозга продолжать учиться, не забывая, в форме, пригодной для эффективной работы на будущих нейроморфных чипах, встроенных в повседневные устройства.

Цитирование: Hu, K., Wen, L., Zhang, T. et al. PS-SNN: pattern separation learning for expandable spiking neural networks in class-incremental learning. Sci Rep 16, 12653 (2026). https://doi.org/10.1038/s41598-026-42970-6

Ключевые слова: непрерывное обучение, спайковые нейронные сети, катастрофическое забывание, нейроморфные вычисления, разделение шаблонов