PS-SNN: patroonseparatie-leren voor uitbreidbare spiking neurale netwerken bij klasse-incrementieel leren

Waarom het belangrijk is machines te leren “onthouden”

Moderne AI-systemen zijn indrukwekkend, maar ze hebben een ernstig struikelblok: zodra ze iets nieuws leren, vergeten ze vaak wat ze eerder wisten. Deze “amnesie” is een grote belemmering voor robots, telefoons en andere apparaten die moeten blijven leren van een veranderende wereld zonder volledig opnieuw getraind te worden. Het artikel over PS-SNN introduceert een door de hersenen geïnspireerde manier om energiezuinige spiking neurale netwerken nieuwe categorieën te laten leren terwijl ze vasthouden aan wat ze al weten, en wijst in de richting van slimmer en betrouwbaarder AI dat op laag-energetische hardware kan draaien.

Het probleem van vergeten in de loop van de tijd

De meeste AI-modellen worden eenmaal getraind op een vaste dataset en daarna ingezet. In het echte leven komen gegevens echter in golven binnen: een camera kan volgende maand nieuwe soorten objecten zien die nooit eerder gelabeld zijn. Wanneer een standaard neuraal netwerk wordt bijgewerkt met deze nieuwe categorieën, wordt de interne “kenmerkruimte” herschikt en faalt de prestatie op eerdere categorieën vaak — een fenomeen dat catastrofaal vergeten wordt genoemd. Dit is bijzonder uitdagend bij klasse-incrementieel leren, waarbij het systeem alle tot nu toe geziene categorieën moet herkennen zonder te weten uit welke trainingsfase ze kwamen. Spiking neurale netwerken, die communiceren met korte elektrische spikes zoals biologische neuronen en aantrekkelijk zijn voor energiezuinige chips, hebben hetzelfde probleem maar hebben veel minder aandacht gekregen dan conventionele diepe netwerken.

Leren door groei en separatie in de hersenen

De neurowetenschap suggereert twee elkaar aanvullende ideeën voor levenslang leren. Ten eerste kan de hersenen nieuwe neuronen vormen, vooral in een regio die de hippocampus heet, waardoor nieuwe herinneringen opgeslagen kunnen worden zonder oude te overschrijven. Ten tweede wordt gedacht dat een ander deel van de hippocampus, de dentate gyrus, functioneert als een “patroonseparator”: zelfs vergelijkbare ervaringen worden afgebeeld op onderscheidende, niet-overlappende activiteitspatronen zodat ze elkaar niet storen. Bestaande methoden voor continu leren in spiking netwerken richten zich doorgaans op het aanpassen van netwerkstructuur of het hergebruiken van oude data, maar ze vertrouwen nog steeds op willekeurig geïnitialiseerde uitvoerlagen, wat ertoe kan leiden dat de interne representaties van categorieën verschuiven en overlappen naarmate nieuwe taken binnenkomen. De auteurs betogen dat dit over het hoofd geziene classificatordesign een belangrijke bron van instabiliteit is.

Hoe PS-SNN het leerproces hervormt

PS-SNN combineert deze twee door de hersenen geïnspireerde ideeën in een spiking-netwerk dat is ontworpen voor klasse-incrementieel leren. Wanneer nieuwe groepen klassen arriveren, groeit het netwerk door het toevoegen van nieuwe feature-extractiemodules, terwijl eerdere modules worden bevroren — een echo van neurogenese die eerder verworven kennis bewaart. Tegelijkertijd, in plaats van elke keer een nieuwe uitvoerlaag vanaf nul te leren, kent de methode elke mogelijke klasse een vooraf berekende richting toe in de kenmerkruimte. Deze richtingen zijn geconstrueerd om onderling orthogonaal te zijn, wat betekent dat elke klasse vanaf het begin verankerd is aan een onderscheidende, niet-overlappende plek. Tijdens de eerste trainingsfase, patroonseparatie-leren genoemd, blijft de classifier vast en passen alleen de feature-extractors zich aan, waardoor de spike-gebaseerde representatie van elke klasse strak rond zijn toegewezen richting klustert en conflicten tussen oude en nieuwe taken vermindert.

Beslissingen verfijnen zonder herinneringen te breken

Orthogonale ankers verbeteren de stabiliteit aanzienlijk, maar ze zijn ook rigide. Om flexibiliteit terug te krijgen, voegt PS-SNN een tweede fase toe die patroonverfijningsleren heet. Hier worden de feature-extractors bevroren en wordt alleen de classifier aangepast, met behulp van een zorgvuldig gebalanceerde mix van oude en nieuwe voorbeelden zodat geen enkele groep klassen domineert. Deze fase vormt subtiel de beslissingsgrenzen tussen de reeds goed gescheiden richtingen van klassen, waardoor de discriminatie verbetert — vooral voor visueel vergelijkbare categorieën — zonder de onderliggende representaties te verstoren die in de eerste fase zijn gestabiliseerd. Het systeem onderhoudt ook een klein replay-geheugen van eerdere voorbeelden, wat beide fasen helpt te sturen terwijl de opslag klein blijft.

Wat de resultaten betekenen voor toekomstige AI

Getest op standaard beeldbenchmarks waarbij klassen in meerdere stappen binnenkomen, presteert PS-SNN aanzienlijk beter dan eerdere continu-leren methoden op basis van spikes en is het zelfs vergelijkbaar met of overtreft het enkele toonaangevende conventionele diepe netwerken, terwijl het de energievoordelen van spike-gebaseerde berekening behoudt. Door een uitbreidbare netwerkstructuur te combineren met vaste, goed gescheiden klasse-ankers, vermindert de aanpak sterk de langzame drift van interne representaties die doorgaans langdurig leren ondermijnt. Voor niet-specialisten is de conclusie dat dit werk AI een stap dichterbij brengt bij het vermogen van de hersenen om te blijven leren zonder te vergeten, in een vorm die efficiënt op toekomstige neuromorfe chips in alledaagse apparaten zou kunnen draaien.

Bronvermelding: Hu, K., Wen, L., Zhang, T. et al. PS-SNN: pattern separation learning for expandable spiking neural networks in class-incremental learning. Sci Rep 16, 12653 (2026). https://doi.org/10.1038/s41598-026-42970-6

Trefwoorden: voortdurend leren, spiking neurale netwerken, catastrofaal vergeten, neuromorfe computing, patroonseparatie