PS-SNN: apprendimento di separazione dei pattern per reti neurali a spiking espandibili nell’apprendimento incrementale per classi

Perché insegnare alle macchine a “ricordare” è importante

I sistemi di IA moderni sono impressionanti, ma hanno una lacuna significativa: quando imparano qualcosa di nuovo, tendono a dimenticare ciò che sapevano prima. Questa “amnesia” è un ostacolo importante per robot, telefoni e altri dispositivi che devono continuare ad apprendere da un mondo in cambiamento senza essere riaddestrati da zero. L’articolo su PS-SNN introduce un approccio ispirato al cervello per aiutare le reti neurali a spiking, a basso consumo energetico, ad apprendere nuove categorie nel tempo mantenendo ciò che già conoscono, indicando la strada verso IA più intelligenti e affidabili eseguibili su hardware a bassa potenza.

Il problema della dimenticanza nel tempo

La maggior parte dei modelli di IA viene addestrata una sola volta su un dataset fisso e poi distribuita. Nella vita reale, però, i dati arrivano a ondate: una macchina fotografica può vedere il mese prossimo nuovi tipi di oggetti mai etichettati prima. Quando una rete neurale standard viene aggiornata su queste nuove categorie, il suo “spazio delle caratteristiche” interno viene rimodellato e le prestazioni sulle categorie precedenti spesso crollano — un fenomeno chiamato dimenticanza catastrofica. Questo è particolarmente difficile nell’apprendimento incrementale per classi, in cui il sistema deve riconoscere tutte le categorie viste finora senza essere informato da quale fase di addestramento provengano. Le reti neurali a spiking, che comunicano con brevi picchi elettrici come i neuroni biologici e sono attraenti per chip a bassa energia, soffrono dello stesso problema e hanno ricevuto molto meno attenzione rispetto alle reti profonde convenzionali.

Apprendere tramite crescita e separazione nel cervello

La neuroscienza suggerisce due idee complementari per l’apprendimento lifelong. Primo, il cervello può generare nuovi neuroni, specialmente in una regione chiamata ippocampo, permettendo di immagazzinare nuove memorie senza sovrascrivere quelle vecchie. Secondo, un’altra parte dell’ippocampo, il giro dentato, è pensata fungere da “separatore di pattern”: anche esperienze simili vengono mappate su pattern di attività distinti e non sovrapposti in modo che non interferiscano tra loro. I metodi esistenti di apprendimento continuo per reti a spiking si concentrano tipicamente sul cambiare la struttura della rete o sul riutilizzo di dati vecchi, ma si basano comunque su layer di output inizializzati casualmente, cosa che può causare la deriva e la sovrapposizione delle rappresentazioni interne delle categorie man mano che arrivano nuovi compiti. Gli autori sostengono che questo aspetto trascurato del design del classificatore sia una fonte chiave di instabilità.

Come PS-SNN rimodella il processo di apprendimento

PS-SNN combina queste due idee ispirate al cervello in una rete a spiking progettata per l’apprendimento incrementale per classi. Man mano che arrivano nuovi gruppi di classi, la rete si espande aggiungendo nuovi moduli di estrazione delle caratteristiche, mentre i moduli precedenti vengono congelati, riecheggiando la neurogenesi e preservando la conoscenza precedente. Allo stesso tempo, invece di apprendere ogni volta un nuovo layer di output da zero, il metodo assegna a ciascuna possibile classe una direzione precomputata nello spazio delle caratteristiche. Queste direzioni sono costruite per essere mutuamente ortogonali, il che significa che ogni classe è ancorata fin dall’inizio a uno slot distinto e non sovrapposto. Durante la prima fase di addestramento, chiamata apprendimento di separazione dei pattern, il classificatore rimane fisso e si adattano solo gli estrattori di caratteristiche, costringendo la rappresentazione a base di spike di ogni classe a raggrupparsi strettamente intorno alla direzione assegnata e riducendo i conflitti tra compiti vecchi e nuovi.

Affinare le decisioni senza cancellare i ricordi

Gli ancoraggi ortogonali migliorano notevolmente la stabilità, ma sono anche rigidi. Per recuperare flessibilità, PS-SNN aggiunge una seconda fase chiamata apprendimento di raffinamento dei pattern. Qui gli estrattori di caratteristiche vengono congelati e viene aggiustato solo il classificatore, usando un mix bilanciato di esempi vecchi e nuovi in modo che nessun gruppo di classi domini. Questa fase rimodella sottilmente i confini decisionali tra le direzioni di classe già ben separate, migliorando la discriminazione — specialmente per categorie visivamente simili — senza disturbare le rappresentazioni di base che sono state stabilizzate nella prima fase. Il sistema mantiene anche una piccola memoria di replay di campioni passati, che aiuta a guidare entrambe le fasi mantenendo modesto lo spazio di memorizzazione.

Cosa significano i risultati per l’IA futura

Testato su benchmark di immagini standard in cui le classi arrivano in più fasi, PS-SNN supera significativamente i precedenti metodi di apprendimento continuo basati su spiking e persino eguaglia o supera diverse reti profonde convenzionali di punta, il tutto preservando i vantaggi energetici del calcolo basato su spike. Combinando una struttura di rete espandibile con ancore di classe fisse e ben separate, l’approccio riduce drasticamente la lenta deriva delle rappresentazioni interne che di solito compromette l’apprendimento a lungo termine. Per i non specialisti, la conclusione è che questo lavoro avvicina l’IA alla capacità del cervello di continuare a imparare senza dimenticare, in una forma che potrebbe funzionare in modo efficiente su futuri chip neuromorfici integrati nei dispositivi di uso quotidiano.

Citazione: Hu, K., Wen, L., Zhang, T. et al. PS-SNN: pattern separation learning for expandable spiking neural networks in class-incremental learning. Sci Rep 16, 12653 (2026). https://doi.org/10.1038/s41598-026-42970-6

Parole chiave: apprendimento continuo, reti neurali a spiking, dimenticanza catastrofica, calcolo neuromorfico, separazione dei pattern