Een hardware-adaptief leeralgoritme voor superlineaire capaciteit associatief geheugen op memristor-crossbars

Waarom slimmer geheugenhardware ertoe doet

Stel je voor dat je vluchtig naar een wazig, half-uitgewist telefoonnummer kijkt en het toch correct kiest. Onze hersenen vullen routinematig ontbrekende informatie op deze manier aan, maar de computers van vandaag hebben daar moeite mee en doen het vaak inefficiënt. Dit artikel onderzoekt een nieuw soort elektronisch geheugen dat volledige patronen kan ophalen uit ruwe, vervormde aanwijzingen—meer in de trant van hoe de hersenen werken—terwijl het veel minder energie verbruikt. Door zowel de leeralgoritmen als de hardware opnieuw te ontwerpen, laten de onderzoekers zien dat deze systemen meer herinneringen kunnen opslaan dan verwacht en blijven functioneren zelfs wanneer veel van hun componenten defect zijn.

Van hersenachtige herinnering naar elektronisch geheugen

Decennia geleden stelden wetenschappers “associatieve geheugens” voor die, net als de hersenen, een volledig opgeslagen patroon kunnen herstellen wanneer ze slechts een gedeeltelijke of beschadigde versie krijgen. Een populair wiskundig model hiervoor is het Hopfield-neurale netwerk, dat zich gedraagt als een landschap met valleien: elke vallei stelt een opgeslagen herinnering voor, en een ruisachtige invoer rolt naar de dichtstbijzijnde. Op standaard digitale chips is dit proces echter traag en energie-intensief, omdat gegevens heen en weer tussen aparte verwerkings- en geheugeneenheden moeten worden verplaatst. De auteurs vertrouwen in plaats daarvan op memristor-crossbars—roosters van kleine elektronische apparaten die zowel informatie opslaan als berekeningen ter plaatse uitvoeren—wat veel parallelisme en een aanzienlijk lager energieverbruik belooft.

Het leren van imperfecte hardware om met zijn eigen gebreken te werken

Echte memristors zijn verre van perfect. Sommige blijven vastzitten en veranderen hun elektrische geleiding nooit meer, terwijl andere bij elke programmering licht variëren. Vorige ontwerpen beschouwden leren als een puur wiskundige oefening, negeerden deze praktische eigenaardigheden en probeerden vervolgens de berekende gewichten in de hardware te kopiëren. Het nieuwe werk keert deze aanpak om: het leeralgoritme is "hardware-adaptief" gemaakt, wat betekent dat het wordt getraind met een gedetailleerd model van de daadwerkelijke chip, inclusief welke apparaten vastzitten en welk geleidingsbereik ze betrouwbaar kunnen bereiken. Tijdens training worden defecte apparaten expliciet gemaskeerd en de overgebleven apparaten aangepast zodat het hele netwerk nog steeds convergeert naar de juiste herinneringen bij ruisachtige aanwijzingen.

Meer herinneringen opslaan met gelaagde netwerken

Klassieke Hopfield-netwerken gebruiken een enkele laag verbindingen en staan erom bekend slechts een aantal patronen op te slaan dat proportioneel is aan hun grootte. De auteurs breiden hun hardware-bewuste leermethode uit naar multilayer-netwerken—met verborgen lagen tussen invoer en uitvoer—geïmplementeerd op memristor-crossbars. Deze extra lagen werken als een slimme compressiefase: voor gestructureerde data zoals handgeschreven cijfers kan het systeem een aantal patronen opslaan dat sneller groeit dan lineair met het aantal invoereenheden, een gedrag dat de auteurs omschrijven als superlineaire capaciteit. In tests met verkleinde MNIST-cijferafbeeldingen slaagde het multilayerontwerp er niet alleen in meer patronen op te slaan, maar deed dat ook met aanzienlijk minder memristor-apparaten dan een eendelige tegenhanger, wat een duidelijk pad biedt om op te schalen zonder dat de hardwarekosten exploderen.

Omgaan met gradaties in plaats van alleen zwart-wit

De meeste eerdere associatieve geheugens werkten alleen met eenvoudige aan/uit-patronen, terwijl echte data—beelden, geluiden, sensorsignalen—glad variëren. Door de abrupte “sign”-activatie te vervangen door een vloeiende “tanh”-functie en dit te combineren met hun multilayer, hardware-adaptieve training, tonen de auteurs aan dat hetzelfde memristorsysteem continu-waarden patronen betrouwbaar kan terugroepen. Zelfs wanneer de invoer zwaar is aangetast door ruis, trekken de iteratieve dynamica van het netwerk het terug naar het juiste opgeslagen patroon. Voor deze continue gevallen groeit ook het aantal herinneringen dat het systeem kan vasthouden sneller dan lineair met de grootte, wat aangeeft dat de voordelen van de architectuur verder reiken dan eenvoudige binaire voorbeelden.

Snelheid, efficiëntie en veerkracht in de praktijk

Omdat memristor-crossbars veel bewerkingen parallel uitvoeren, werken de onderzoekers alle neurale toestanden gelijktijdig bij, in plaats van één voor één zoals in traditionele schema’s. Op een prototype met 64 neuronen reduceert deze synchrone bijwerking de verwerkingstijd ongeveer duizendvoudig en verlaagt het energieverbruik meerdere keren vergeleken met eerdere asynchrone benaderingen. Cruciaal is dat het systeem hoge herroepkwaliteit behoudt zelfs wanneer tot de helft van de apparaten permanent vastzit, en de prestaties nauwelijks veranderen onder realistische programmeringsruis. Al met al presenteert het werk een praktisch stappenplan voor hersen-geïnspireerde geheugens die snel, energie-efficiënt, tolerant voor defecten en in staat zijn rijke, continue patronen op te slaan—en brengt de hardware zo een stap dichter bij de associatieve kracht van biologische hersenen.

Bronvermelding: He, C., Jiang, M., Shan, K. et al. A hardware-adaptive learning algorithm for superlinear-capacity associative memory on memristor crossbars. Nat Commun 17, 3096 (2026). https://doi.org/10.1038/s41467-026-69958-0

Trefwoorden: associatief geheugen, memristor-crossbar, neuromorfe hardware, Hopfield-netwerk, in-memory computing