Data‑In‑situ‑beräkning med en en‑pixel–flera‑memristorer‑arkitektur för neuromorft sekvensiellt seende

Varför snabbare syn spelar roll

Varje gång en kamera i en telefon, robot eller självkörande bil registrerar världen måste den först fånga bilder och sedan skicka dem till en separat krets för analys. Denna fram‑ och återföring slösar både tid och energi, särskilt för videoströmmar. Studien bakom den här artikeln undersöker en ny typ av elektroniskt ”öga” som både kan lagra och bearbeta visuell information nästan där ljuset först träffar, med inspiration från hur den mänskliga hjärnan hanterar rörliga scener.

Hur våra ögon och hjärna hanterar rörelse

I människor omvandlar ögat ljus till små elektriska pulser som färdas längs nerver till hjärnan. Där finns en form av korttidsvisuellt minne som håller kvar nyss uppfattade bilder och gör en snabb försortering innan djupare igenkänning sker. Denna tidiga filtrering minskar mängden information som måste förflyttas, vilket hjälper hjärnan att vara både snabb och energieffektiv. Det nya arbetet lånar denna idé och syftar till att ge artificiella visionssystem ett eget lokalt visuellt arbetsminne.

En ny samverkan mellan pixel och minne

Forskarna byggde ett hårdvarusystem där varje ljussensorpixel är kopplad till många små minneselement på en chip. Dessa element, kallade memristorer, kan lagra ett spektrum av värden, inte bara enkla av/på‑lägen, vilket gör dem väl lämpade för att hålla nyanser av ljusstyrka. I konstruktionsprincipen omvandlar en enkel analog krets pixelns ljussignal till en spänning som direkt programmerar flera memristorer samtidigt. Denna en‑pixel‑till‑många‑memristorer‑layout skapar en kompakt karta av scenen direkt i minnesnätet, liknande hur nervfibrer från näthinnan sprids ut till många hjärnceller.

Rullande inspelning genom bilder snabbt

För att effektivt fånga rörliga bilder introducerade teamet en strategi för ”rullande exponering”. Istället för att ta en hel bildruta och skicka bort den skriver systemet en kolumn pixlar i taget till memristormatrisen och rör sig sedan snabbt till nästa kolumn tills hela bilden är lagrad. En särskild metod med en enda spänningspuls programmerar många memristorer parallellt och byter lite precision mot en stor hastighetsvinst. Tester med enkla silhuetter av mänskliga handlingar och ett porträtt visar att de återgivna bilderna från chippet bibehåller viktiga former och ansikten tillräckligt tydligt för pålitlig igenkänning, även om ett visst brus förekommer.

Tänka där bilderna bor

De flesta nuvarande smarta visionssystem separerar fortfarande sensorer, lagring och beräkning. I kontrast utför detta system en del av ”tänkandet” direkt inne i samma memristormatris som håller bilden. Forskarna applicerar noggrant valda spänningsmönster över den lagrade bilden och låter själva nätet utföra de grundläggande matematiska stegen i ett neuralt nätverk. Endast de kondenserade resultaten skickas sedan till en andra memristorblock som slutför klassificeringen. I tester på en välkänd dataset för mänskliga handlingar igenkände hårdvaran rörelser som löpning, hopp och gång med 95,7 procents noggrannhet, nära vad datorsimuleringar uppnådde.

Varför detta tillvägagångssätt kan omforma maskinöga

Eftersom sensning, korttidslagring och tidig bearbetning är tätt sammankopplade minskar den nya arkitekturen kraftigt behovet av att skicka data mellan separata chip. Författarna uppskattar att deras design kan reducera tidsfördröjningen för bildfångst och lagring med omkring tvåtusen gånger och minska energin för bildbehandling med ungefär 160 gånger jämfört med ett typiskt digitalt system som använder standardminne. För vardagsanvändare skulle det en dag kunna översättas till mindre, svalare och mer responsiva kameror och visionsstyrda prylar som iakttar världen mer likt oss — och bara tar det de behöver från varje ögonblick.

Citering: Sun, Y., Tong, P., Shen, J. et al. Data-In-situ Computing with One-Pixel-Multiple-Memristor Architecture for Neuromorphic Sequential Vision. Nat Commun 17, 4244 (2026). https://doi.org/10.1038/s41467-026-70860-y

Nyckelord: neuromorft seende, memristor, beräkning i minnet, sekventiella bilder, energieffektiv AI