Data-in-situ computing met one-pixel-meerdere-memristor architectuur voor neuromorfe sequentiële visie

Waarom snellere visie ertoe doet

Elke keer dat een camera in een telefoon, robot of zelfrijdende auto de wereld vastlegt, moet hij eerst beelden capturen en die vervolgens naar een aparte chip sturen voor analyse. Dit heen en weer kost tijd en energie, vooral bij videostreams. De studie achter dit artikel onderzoekt een nieuw soort elektronisch “oog” dat visuele informatie vrijwel op de plek waar licht eerst valt kan opslaan en verwerken, geïnspireerd door hoe het menselijk brein bewegende scènes afhandelt.

Hoe onze ogen en hersenen beweging verwerken

Bij mensen zet het oog licht om in kleine elektrische pulsen die via zenuwen naar de hersenen reizen. Daar houdt een vorm van kortetermijnvisueel geheugen recente beelden vast en voert het een snelle voorselectie uit voordat diepere herkenning plaatsvindt. Deze vroege filtering vermindert de hoeveelheid informatie die verplaatst moet worden, waardoor het brein snel en energie-efficiënt kan blijven. Het nieuwe werk leent dit idee en wil kunstmatige visiesystemen een lokaal visueel werkgeheugen geven.

Een nieuwe samenwerking tussen pixel en geheugen

De onderzoekers bouwden een hardwaresysteem waarin elke lichtgevoelige pixel is gekoppeld aan vele kleine geheugenelementen op een chip. Deze elementen, memristors genoemd, kunnen een reeks waarden opslaan, niet alleen simpel aan en uit, wat ze geschikt maakt om helderheidsgradaties vast te houden. In het ontwerp zet een eenvoudige analoge schakeling het lichtsignaal van de pixel om in een spanning die meerdere memristors tegelijk direct programmeert. Deze one-pixel-to-many-memristors indeling creëert een compact beeld van de scène direct in het geheugenrooster, vergelijkbaar met hoe zenuwvezels van het netvlies zich vertakken naar veel hersencellen.

Snel door beelden rollen

Om bewegende beelden efficiënt vast te leggen introduceerde het team een “rolling exposure”-strategie. In plaats van een heel frame in één keer te grijpen en weg te sturen schrijft het systeem één kolom pixels in de memristorarray en gaat dan snel naar de volgende kolom totdat het volledige beeld is opgeslagen. Een speciale single-pulse-methode programmeert veel memristors parallel, waarbij een klein beetje precisie wordt geruild voor een enorme snelheidswinst. Tests met eenvoudige silhouetten van menselijke acties en een portret laten zien dat de uit het chip herstelde beelden belangrijke vormen en gezichten voldoende scherp houden voor betrouwbare herkenning, ook al is er enige ruis aanwezig.

Denkwerk waar de beelden wonen

De meeste huidige slimme visieharde­ware scheidt nog steeds detectie, opslag en rekenen. In tegenstelling daarmee voert dit systeem een deel van het “denken” direct uit binnen dezelfde memristorarray die het beeld opslaat. De onderzoekers passen zorgvuldig gekozen spanningspatronen toe over het opgeslagen plaatje, waarbij het rooster zelf de basisberekeningen van een neuraal netwerk uitvoert. Alleen de verdichte resultaten reizen vervolgens naar een tweede memristorblok dat de classificatie voltooit. In tests op een bekend dataset voor menselijke acties herkende de hardware bewegingen zoals rennen, springen en lopen met 95,7 procent nauwkeurigheid, dicht bij computermodellen.

Waarom deze aanpak machineogen kan hervormen

Omdat detectie, kortetermijnopslag en vroege verwerking nauw met elkaar verweven zijn, vermindert de nieuwe architectuur sterk de noodzaak om data tussen afzonderlijke chips heen en weer te sturen. De auteurs schatten dat hun ontwerp de tijdsvertraging voor beeldacquisitie en -opslag ongeveer tweeduizend keer kan verminderen en het energiegebruik voor beeldverwerking met ongeveer 160 keer kan verkleinen vergeleken met een typisch digitaal systeem met standaardgeheugen. Voor alledaagse gebruikers zou dat ooit kunnen betekenen: kleinere, koelere en responsievere camera’s en visie-gestuurde apparaten die de wereld meer zoals wij observeren, en per moment alleen nemen wat nodig is.

Bronvermelding: Sun, Y., Tong, P., Shen, J. et al. Data-In-situ Computing with One-Pixel-Multiple-Memristor Architecture for Neuromorphic Sequential Vision. Nat Commun 17, 4244 (2026). https://doi.org/10.1038/s41467-026-70860-y

Trefwoorden: neuromorfe visie, memristor, in-memory computing, sequentiële beelden, energiezuinige AI