NEOSTI - een neuromorfische elektronisch-opto ruimtelijk-temporele hybride beeldsensor

Waarom een slimmer elektronisch oog ertoe doet

Van zelfrijdende auto’s tot huishoudrobots: machines moeten steeds beter de wereld zien en snel reageren zonder enorme hoeveelheden energie te verbruiken. Hedendaagse digitale camera’s leggen scherpe beelden vast, maar moeten vervolgens enorme hoeveelheden data naar externe chips of cloudservers sturen voor intensieve verwerking, wat tijd en energie kost. Dit artikel introduceert NEOSTI, een klein camerasysteem geïnspireerd op het menselijk oog dat scènes direct op een chip kan waarnemen, comprimeren en begrijpen, wat snellere en efficiëntere visie voor toekomstige apparaten belooft.

Hoe onze ogen nieuwe machinale visie inspireren

Het menselijke oog verwerkt enorme stromen visuele informatie met opmerkelijke efficiëntie. Meer dan 130 miljoen lichtgevoelige cellen in het netvlies vangen binnenkomend licht, maar slimme verwerking in het oog zelf comprimeert die data meer dan honderd keer voordat ze via de oogzenuw wordt verzonden. Het netvlies kan ook fel zonlicht en zwak sterlicht aan, terwijl het slechts enkele milliwatts verbruikt. Ter vergelijking: de meeste machinale-visiesystemen vertrouwen op conventionele beeldsensoren die alleen pixelhelderheid registreren en ruwe beelden doorsturen naar krachtige processors; dat verbruikt veel meer energie en kan moeite hebben met de milliseconde-reactietijden die bewegende robots, drones of auto’s nodig hebben.

Een klein cameraatje dat nadenkt terwijl het kijkt

NEOSTI (afkorting van Neuromorphic Electronic Opto Spatial Temporal Imager) kopieert verschillende trucjes uit de biologie om deze beperkingen te lijf te gaan. In plaats van sensen en berekenen als afzonderlijke stappen te behandelen, vouwt NEOSTI ze samen. Voorop de chip zit eerst een gepatternte optische mask, die fungeert als ingebouwde lensvrije filter en een soort schuivende selectie over de scene uitvoert nog voordat licht de sensor bereikt. Dit verkleint de hoeveelheid informatie die later moet worden verwerkt. Gespecialiseerde pixels zetten vervolgens licht om in pulsen op een niet-lineaire manier die lijkt op hoe staafjes en kegeltjes in het oog reageren, waardoor hun nuttige bereik zich uitstrekt van zeer donker tot zeer helder. Tenslotte analyseert een compact neuraal netwerk dat direct op de chip is ingebouwd de resulterende patronen om vormen, kledingstukken, oogstanden of zelfs menselijke acties in korte videofragmenten te herkennen.

Licht, pulsen en eenvoudige on-chip verwerking

Binnen NEOSTI doet elke pixel meer dan alleen helderheid meten. Zodra licht een pixel raakt, daalt de spanning totdat die een puls activeert waarvan de breedte afhangt van de lichtintensiteit, waarbij het gebruikelijke vloeiende spanningssignaal wordt vervangen door een tijdsignaal dat eenvoudiger te verwerken is in digitale logica. Door het triggerpunt langzaam te verschuiven tijdens elke belichting, bootsen de pixels het adaptieve gedrag van het oog na: ze blijven gevoelig in donkere scènes en voorkomen overbelasting in heldere omstandigheden. Direct onder het detectiegebied vergelijken kleine verwerkingscomponenten aangrenzende pixels door hun pulse-aantallen op te tellen of van elkaar af te trekken, waardoor redundante achtergrond wordt verwijderd en randen en beweging worden benadrukt. Een hardwarepijplijn voert deze resultaten vervolgens door eenvoudige stappen die echoën van lagen in een neuraal netwerk, waardoor de data geleidelijk worden verkleind terwijl de meest informatieve kenmerken behouden blijven.

Het systeem op de proef stellen

De onderzoekers evalueerden NEOSTI op verschillende bekende beeld- en videotaken. Ondanks de bescheiden resolutie en het lage energiegebruik classificeerde de chip handgeschreven cijfers, modeartikelen, eenvoudige tekeningen en synthetische oogbeelden correct met accuraatheden van boven de 90 procent in de meeste gevallen. Hij verwerkt ook een videodataset van mensen die acties uitvoeren zoals rennen, springen en bukken, waarbij hij ongeveer 91 procent nauwkeurigheid bereikte. Tests waarbij alleen het optische masker of alleen de on-chip elektronica werd ingeschakeld, toonden aan dat beide onderdelen noodzakelijk zijn; het volledige systeem verbeterde de nauwkeurigheid met meer dan tien procentpunten ten opzichte van elk afzonderlijk onderdeel. NEOSTI hield ook een stabiele prestatie aan naarmate de beeldkwaliteit verslechterde, wat suggereert dat de front-end optische filtering en het on-chip neurale netwerk het systeem helpen omgaan met ruis en weinig licht.

Wat dit nieuwe elektronische oog betekent

Voor niet-specialisten is de kernboodschap dat NEOSTI laat zien hoe toekomstige camera’s veel meer kunnen doen dan alleen foto’s maken. Door licht te vormen voordat het de sensor bereikt, helderheid om te zetten in robuuste puls-signalen en eenvoudige leercircuits direct op de chip toe te voegen, gedraagt NEOSTI zich meer als een miniatuur oog en brein gecombineerd. Het kan patronen en acties herkennen met veel minder energie en hardware dan traditionele systemen die vertrouwen op grote externe processors. Hoewel verder werk nodig is om de resolutie op te schalen en kleur toe te voegen, wijst deze aanpak op compacte, energiezuinige visiemodules die alledaagse machines een meer natuurlijke, responsieve blik kunnen geven.

Bronvermelding: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

Trefwoorden: neuromorfe visie, beeldsensor, optische computing, edge-AI, laagvermogen robotica