Ultrasnabb visuell uppfattning bortom mänskliga förmågor möjliggjord genom rörelseanalys med synaptiska transistorer

Varför snabbare robotvision spelar roll

När ett självkörande fordons system eller en flygande drönare reagerar bara en bråkdel av en sekund för långsamt kan konsekvenserna bli allvarliga. Dagens bästa datorvisionsalgoritmer kan matcha eller överträffa människor på standardtester, men de tar fortfarande för lång tid att bearbeta varje video­bildruta i realtid. Denna artikel presenterar en ny sorts visionshårdvara, inspirerad av hjärnan, som låter maskiner upptäcka rörelse mycket snabbare än människor utan att kompromissa med noggrannheten.

Hur vi normalt lär maskiner att se rörelse

Konventionell rörelseanalys bygger på en teknik som kallas optiskt flöde, vilken uppskattar hur varje punkt i en bild förflyttar sig från en ruta till nästa. Den fungerar väl men kräver mycket beräkningar: för en hel högupplöst bild kan ett kraftfullt grafik­kort behöva mer än en halv sekund för att slutföra arbetet. I snabbrörliga scenarier som motorvägskörning kan den fördröjningen motsvara tiotals meter innan systemet ens känner igen en fara. Till skillnad från det mänskliga visuella systemet, som snabbt fokuserar på de mest relevanta delarna av en scen, bearbetar standardalgoritmer pliktskyldigt varje pixel, även i statiska bakgrundsområden som bidrar med föga användbar information.

Att låna ett trick från hjärnans tidiga synstadier

Biologin löser detta genom tidiga filtrerande lager i ögat och talamus som framhäver var förändring sker och tonar ner allt annat. Författarna efterliknar denna idé i kisel genom att bygga en neuromorfisk modul för ”temporär uppmärksamhet”. En vanlig kamera fångar fortfarande bilderna, men dess ljushetsförändringar matas också in i ett kompakt rutnät av synaptiska transistorer — elektroniska enheter som uppträder likt justerbara kopplingar i hjärnan. Varje enhet ackumulerar lokalt hur mycket ljuset i dess tilldelade region förändrats över ett kort tidsfönster. Rutor i nätet som ser stora förändringar lyser upp som intresseområden, medan lugnare områden tonar ut i bakgrunden.

Smarta transistorer som minns rörelse

I centrum för detta system finns en speciellt konstruerad flytande-gate synaptisk transistor uppbyggd av lager av atomärt tunna material. Genom att applicera korta spänningspulsar kan enhetens ledningsförmåga ställas in och sedan hållas i timmar, vilket effektivt lagrar ett minne av nyligen visuell aktivitet. Transistorerna reagerar på omkring 100 mikrosekunder — tillräckligt snabbt för högfartsvideo — och tål tusentals uppdateringscykler utan att försämras. Teamet skalerade en enskild enhet till en 4×4-matris och visade hur förändringar i kamerans ljusstyrka omvandlas till spänningspulsar som selektivt skjuter vissa celler till högledande ”rörelse”-tillstånd samtidigt som mindre flimmer och brus undertrycks.

Fokusera tunga beräkningar bara där det räknas

Matrisens utsignal omvandlas till en grov ”värmekarta” av rörelse som markerar kompakta intresseområden. Istället för att köra dyr optisk flödeskod på hela bilden analyserar systemet endast dessa markerade områden, med en liten marginal runt dem. Författarna visar att detta tillvägagångssätt kan kopplas direkt in i flera populära optiska flödesmetoder, från klassiska algoritmer som Farneback till moderna djupinlärningsmodeller såsom RAFT och GMFlow. I tester med bilar, drönare, robotarmar och snabba sporter som bordtennis skär den neuromorfiska frontenden rutinmässigt ner tiden som läggs på rörelseuppskattning och följd­uppgifter — såsom att förutsäga vart ett objekt kommer att röra sig, segmentera rörliga objekt från bakgrunden eller spåra ett mål — med ungefär en faktor fyra.

Springa ifrån mänsklig reaktion utan att förlora noggrannhet

Avgörande är att denna hastighetsökning inte sker på bekostnad av tillförlitlighet. Genom att ge extra information om var rörelse sannolikt förekommer förbättrar de temporala signalerna ofta noggrannheten, särskilt vid objektspårning och segmentering i röriga scener. I fordonsoch smådrönarscenarier mer än fördubblades uppgiftsprestanda jämfört med konventionella pipelines, samtidigt som de totala bearbetningstiderna sjönk till tiotals millisekunder — i nivå med, eller bättre än, typiska mänskliga reaktionstider på ungefär 150 millisekunder. Författarna menar att denna neuromorfiska rörelse­frontend kan paras ihop med många befintliga visionsalgoritmer, och även med objekt­detektorer bortom optiskt flöde, för att ge robotar, fordon och interaktiva maskiner ett mycket snabbare och mer fokuserat sätt att förstå dynamiska miljöer.

Citering: Wang, S., Zhao, J., Pu, T. et al. Ultrafast visual perception beyond human capabilities enabled by motion analysis using synaptic transistors. Nat Commun 17, 1215 (2026). https://doi.org/10.1038/s41467-026-68659-y

Nyckelord: neuromorfisk vision, optisk flöde, synaptiska transistorer, robotperception, autonom körning