NEOSTI - en neuromorf elektronisk-opto rumsligt-tidsmässig hybrid bildsensor

Varför ett smartare elektroniskt öga spelar roll

Från självkörande bilar till hushållsrobotar behöver maskiner i allt högre grad se världen tydligt och reagera snabbt utan att förbruka stora mängder energi. Dagens digitala kameror samlar skarpa bilder men måste sedan skicka enorma datamängder till avlägsna chip eller molntjänster för tung bearbetning, vilket kostar både tid och energi. Denna artikel presenterar NEOSTI, ett litet kamerasystem inspirerat av det mänskliga ögat som kan känna av, komprimera och förstå visuella scener direkt på ett chip — vilket lovar snabbare och mer energieffektiv syn för framtida enheter.

Hur våra ögon inspirerar ny maskinsyn

Det mänskliga ögat hanterar enorma flöden av visuell information med anmärkningsvärd effektivitet. Mer än 130 miljoner ljuskänsliga celler i näthinnan fångar inkommande ljus, men smart bearbetning i ögat självt komprimerar dessa data med över hundrafaldig faktor innan de skickas vidare via synnerven. Näthinnan klarar också starkt dagsljus och svagt stjärnljus med lätthet, samtidigt som den använder bara ett par milliwatt effekt. I kontrast förlitar sig de flesta maskinsynssystem på konventionella bildsensorer som bara registrerar pixelns ljusstyrka och vidarebefordrar råbilder till kraftfulla processorer, vilket förbrukar mycket mer energi och har svårt att nå de splitsekundsnabbhet som krävs för rörliga robotar, drönare eller bilar.

En liten kamera som tänker medan den tittar

NEOSTI (kort för Neuromorphic Electronic Opto Spatial Temporal Imager) kopierar flera biologiska knep för att tackla dessa begränsningar. Istället för att behandla sensning och beräkning som separata steg sammanfogar NEOSTI dem. Först sitter ett mönstrat optiskt mask framför chippet och fungerar som ett inbyggt linsfritt filter, och gör en slags glidande urval över scenen innan ljuset når sensorn. Detta minskar mängden information som måste hanteras senare. Därefter omvandlar specialiserade pixlar ljus till pulser på ett icke-linjärt sätt som liknar hur stavar och tappar i ögat reagerar, och utökar deras användbara omfång från mycket mörkt till mycket ljust. Slutligen analyserar ett kompakt neuralt nätverk byggt direkt på chippet de resulterande mönstren för att känna igen former, klädesplagg, ögonpositioner eller till och med mänskliga handlingar i korta videoklipp.

Ljus, pulser och enkel in-chip-tänkande

Inuti NEOSTI gör varje pixel mer än att bara mäta ljusstyrka. När ljus träffar en pixel sjunker spänningen tills den utlöser en puls vars bredd beror på ljusintensiteten, vilket ersätter den vanliga jämna spänningssignalen med en tidsmässig signal som är enklare att hantera i digital logik. Genom att långsamt förflytta utlösningspunkten under varje exponering efterliknar pixlarna ögats adaptiva beteende, vilket gör dem känsliga i dunkla scener samtidigt som överbelastning i starkt ljus undviks. Direkt under sensorytan jämför små bearbetningselement närliggande pixlar genom att addera eller subtrahera deras pulsräkningar, vilket tar bort redundant bakgrund och förstärker kanter och rörelse. En hårdvarupipeline skickar sedan dessa resultat genom enkla steg som ekar lager i ett neuralt nätverk, och reducerar gradvis datamängden samtidigt som de mest informativa dragen behålls.

Att sätta systemet på prov

Forskarna utvärderade NEOSTI på flera välkända bild- och videotestuppgifter. Trots sin måttliga upplösning och låga energiförbrukning klassificerade chippet handskrivna siffror, modeartiklar, enkla teckningar och syntetiska ögonbilder korrekt med noggrannhet över 90 procent i de flesta fall. Det hanterade också en videodataset med personer som utför handlingar som att springa, hoppa och böja sig, där det nådde ungefär 91 procents noggrannhet. Tester där man aktiverade endast det optiska masket eller endast den inbyggda elektroniken visade att båda delarna är nödvändiga; att använda hela systemet förbättrade noggrannheten med mer än tio procentenheter jämfört med endera delen ensam. NEOSTI bibehöll också stabil prestanda när bildkvaliteten försämrades, vilket tyder på att front-end optisk filtrering och det inbyggda neurala nätverket hjälper systemet att hantera brus och svagt ljus.

Vad detta nya elektroniska öga innebär

För icke-specialister är huvudbudskapet att NEOSTI visar hur framtida kameror kan göra mycket mer än att bara fånga bilder. Genom att forma ljuset innan det når sensorn, omvandla ljusstyrka till robusta pulssignaler och lägga till enkla inlärningskretsar direkt på chippet beter sig NEOSTI mer som en miniatyr öga och hjärna i ett. Det kan känna igen mönster och handlingar med betydligt mindre energi och hårdvara än traditionella lösningar som förlitar sig på stora externa processorer. Även om vidare arbete krävs för att skala upp upplösning och lägga till färg pekar detta tillvägagångssätt mot kompakta, lågströms synmoduler som kan ge vardagliga maskiner ett mer naturligt och responsivt seende.

Citering: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

Nyckelord: neuromorf syn, bildsensor, optisk beräkning, edge-AI, lågströmsrobotik