Ultrasnelle visuele waarneming voorbij menselijke mogelijkheden mogelijk gemaakt door bewegingsanalyse met synaptische transistors

Waarom snellere robotvisie ertoe doet

Wanneer het zelfrijdende systeem van een auto of een vliegende drone zelfs maar een fractie van een seconde te traag reageert, kunnen de gevolgen ernstig zijn. De beste computervisie-algoritmen van vandaag kunnen op standaardtests met mensen wedijveren of hen zelfs verslaan, maar ze doen er nog steeds te lang over om elk videoframe in realtime te verwerken. Dit artikel introduceert een nieuw soort visuele hardware, geïnspireerd op de hersenen, die machines in staat stelt beweging veel sneller te detecteren dan mensen, zonder in te leveren op nauwkeurigheid.

Hoe we machines gewoonlijk leren beweging te zien

Conventionele bewegingsanalyse berust op een techniek die optische stroming wordt genoemd, waarmee wordt geschat hoe elk punt in een beeld beweegt van het ene frame naar het volgende. Het werkt goed, maar is rekenkundig intensief: voor een volledig high-definition beeld kan een krachtige grafische kaart meer dan een halve seconde nodig hebben om het werk af te ronden. In snel bewegende situaties, zoals snelwegverkeer, kan die vertraging zich vertalen in tientallen meters die worden afgelegd voordat het systeem een gevaar herkent. In tegenstelling tot het menselijke visuele systeem, dat snel de relevantste delen van een scène selecteert, verwerken standaardalgoritmen plichtsgetrouw elke pixel, zelfs in statische achtergrondgebieden die weinig nuttige informatie bevatten.

Een truc lenen uit de vroege visiestadia van de hersenen

De biologie lost dit probleem op door vroege filterlagen in het oog en de thalamus te gebruiken om te benadrukken waar verandering plaatsvindt en om alles wat niet relevant is te onderdrukken. De auteurs imiteren dit idee in silicium door een neuromorfe “tijdelijke aandachts”module te bouwen. Een standaardcamera vastlegt nog steeds de beelden, maar veranderingen in helderheid worden ook gevoed naar een compact raster van synaptische transistors—elektronische apparaten die enigszins werken als verstelbare verbindingen in de hersenen. Elk apparaat verzamelt lokaal hoeveel het licht in zijn toegewezen gebied in een kort tijdvenster is veranderd. Vlakken van het raster die sterke veranderingen zien lichten op als interessegebieden, terwijl rustigere gebieden naar de achtergrond vervagen.

Slimme transistors die beweging onthouden

In het hart van dit systeem bevindt zich een speciaal geconstrueerde floating-gate synaptische transistor, opgebouwd uit gelaagde, atomair dunne materialen. Door korte spanningspulsen toe te passen, kan de geleiding van het apparaat worden afgesteld en vervolgens uren lang vastgehouden, waardoor effectief een geheugen van recente visuele activiteit ontstaat. De transistors reageren in ongeveer 100 microseconden—snel genoeg voor hogesnelheidsvideo—en verdragen duizenden updatecycli zonder degraderen. Het team schaalt een enkel apparaat naar een 4×4-array en toont hoe veranderingen in camerabrightness worden omgezet in spanningspulsen die sommige cellen selectief in hoog-geleidings “bewegings”-toestanden duwen terwijl kleine flikkeringen en ruis worden onderdrukt.

Zware berekeningen alleen richten waar het telt

De uitvoer van de array wordt omgezet in een grove “warmtekaart” van beweging die compacte interessegebieden markeert. In plaats van dure optische-stroomcode over het hele beeld te laten draaien, analyseert het systeem alleen deze gemarkeerde gebieden, met een kleine marge eromheen. De auteurs laten zien dat deze aanpak rechtstreeks aansluit op meerdere populaire optische-stroommethoden, van klassieke algoritmen zoals Farneback tot moderne deep-learningmodellen zoals RAFT en GMFlow. In tests met auto’s, drones, robotarmen en snelle sporten zoals tafeltennis reduceert de neuromorfe voorkant routinematig de tijd besteed aan bewegingsschatting en vervolg taken—zoals voorspellen waar een object heen zal bewegen, het segmenteren van bewegende objecten van de achtergrond, of het volgen van een doel—met ongeveer een factor vier.

De menselijke reactietijd achter zich laten zonder nauwkeurigheid te verliezen

Kernachtig: deze versnelling gaat niet ten koste van betrouwbaarheid. Door extra informatie te geven over waar beweging waarschijnlijk is, verbeteren de temporele aanwijzingen vaak de nauwkeurigheid, vooral bij objecttracking en segmentatie in drukke scènes. In voertuig- en klein-drone-scenario’s verdubbelden de prestatienormen van taken vaak vergeleken met conventionele pijplijnen, terwijl de totale verwerkingstijden terugvielen naar enkele tientallen milliseconden—vergelijkbaar met of beter dan typische menselijke reactietijden van ongeveer 150 milliseconden. De auteurs betogen dat deze neuromorfe bewegingsvoorkant kan worden gekoppeld aan veel bestaande visie-algoritmen, en zelfs aan objectdetectors buiten optische stroming, om robots, voertuigen en interactieve machines een veel snellere en meer gerichte manier te geven om dynamische omgevingen te begrijpen.

Bronvermelding: Wang, S., Zhao, J., Pu, T. et al. Ultrafast visual perception beyond human capabilities enabled by motion analysis using synaptic transistors. Nat Commun 17, 1215 (2026). https://doi.org/10.1038/s41467-026-68659-y

Trefwoorden: neuromorfe visie, optische stroom, synaptische transistors, robotwaarneming, autonoom rijden