NEOSTI - ein neuromorpher elektronisch-opto räumlich-temporaler Hybrid-Bildsensor

Warum ein schlaueres elektronisches Auge wichtig ist

Von autonomen Fahrzeugen bis zu Haushaltsrobotern müssen Maschinen die Welt zunehmend klar sehen und schnell reagieren, ohne viel Energie zu verbrauchen. Heutige Digitalkameras erfassen scharfe Bilder, müssen dann aber große Datenmengen an entfernte Chips oder Cloud-Server für aufwändige Verarbeitung senden, was Zeit und Energie kostet. Dieser Artikel stellt NEOSTI vor, ein kleines kameraähnliches System, das vom menschlichen Auge inspiriert ist und Szenen direkt auf dem Chip erfassen, komprimieren und verstehen kann — mit dem Versprechen schnellerer, effizienterer Bildverarbeitung für künftige Geräte.

Wie unser Auge neue maschinelle Sicht inspiriert

Das menschliche Auge verarbeitet enorme Mengen visueller Informationen mit bemerkenswerter Effizienz. Mehr als 130 Millionen lichtempfindliche Zellen in der Netzhaut erfassen einfallendes Licht, doch eine intelligente Vorverarbeitung in der Netzhaut komprimiert diese Daten um mehr als das Hundertfache, bevor sie über den Sehnerv weitergeleitet werden. Die Netzhaut bewältigt dabei helles Sonnenlicht und schwaches Sternenlicht gleichermaßen, bei einem Verbrauch von nur wenigen Milliwatt. Im Vergleich dazu verlassen sich die meisten maschinellen Sehsysteme auf konventionelle Bildsensoren, die lediglich Pixelhelligkeit aufzeichnen und Rohbilder an leistungsfähige Prozessoren weiterleiten — mit deutlich höherem Energiebedarf und Schwierigkeiten, die für bewegte Roboter, Drohnen oder Fahrzeuge erforderlichen Reaktionszeiten einzuhalten.

Eine winzige Kamera, die beim Sehen denkt

NEOSTI (Kurzform für Neuromorphic Electronic Opto Spatial Temporal Imager) übernimmt mehrere Tricks aus der Biologie, um diese Grenzen zu überwinden. Anstatt Erfassen und Rechnen als getrennte Schritte zu behandeln, verschränkt NEOSTI beides. Vor dem Chip sitzt eine gemusterte optische Maske, die wie ein eingebauter, linsefreier Filter wirkt und bereits vor dem Erreichen des Sensors eine Art gleitende Selektion über die Szene ausführt. Das reduziert die Menge der später zu verarbeitenden Informationen. Spezialisierte Pixel wandeln Licht anschließend in Pulse auf nichtlineare Weise um, ähnlich der Reaktion von Stäbchen und Zapfen im Auge, und erweitern so den nutzbaren Bereich von sehr dunklen bis zu sehr hellen Bedingungen. Schließlich analysiert ein kompaktes neuronales Netzwerk, das direkt auf dem Chip aufgebaut ist, die entstehenden Muster, um Formen, Kleidungsstücke, Blickrichtungen oder sogar menschliche Aktionen in kurzen Videoausschnitten zu erkennen.

Licht, Pulse und einfache On-Chip-Verarbeitung

Innerhalb von NEOSTI misst jedes Pixel mehr als nur Helligkeit. Trifft Licht auf ein Pixel, fällt die Spannung, bis sie einen Puls auslöst; dessen Breite hängt von der Lichtintensität ab und ersetzt das übliche stetige Spannungssignal durch ein zeitliches Signal, das in digitaler Logik leichter zu verarbeiten ist. Indem der Auslösepunkt während jeder Belichtung langsam verschoben wird, ahmen die Pixel das adaptive Verhalten des Auges nach, bleiben in dunklen Szenen empfindlich und vermeiden in hellen Situationen eine Übersteuerung. Direkt unter dem Sensorteil vergleichen kleine Verarbeitungselemente benachbarte Pixel, indem sie deren Pulsanzahlen addieren oder subtrahieren, redundantem Hintergrund entfernen und Kanten sowie Bewegungen hervorheben. Eine Hardware-Pipeline leitet diese Ergebnisse dann durch einfache Schritte, die Schichten eines neuronalen Netzwerks widerspiegeln und die Daten schrittweise reduzieren, während die informativsten Merkmale erhalten bleiben.

Erprobung des Systems

Die Forschenden testeten NEOSTI mit mehreren bekannten Bild- und Videoaufgaben. Trotz mäßiger Auflösung und niedrigem Energieverbrauch klassifizierte der Chip handgeschriebene Ziffern, Modeartikel, einfache Zeichnungen und synthetische Augenbilder in den meisten Fällen mit Genauigkeiten über 90 Prozent. Auch ein Videodatensatz mit Menschen, die Aktionen wie Laufen, Springen oder Bücken ausführen, wurde mit etwa 91 Prozent Genauigkeit verarbeitet. Tests, bei denen nur die optische Maske oder nur die On-Chip-Elektronik aktivierte wurde, zeigten, dass beide Komponenten notwendig sind; das Gesamtsystem verbesserte die Genauigkeit um mehr als zehn Prozentpunkte gegenüber jeweils einzelnen Komponenten. NEOSTI hielt außerdem eine stabile Leistung bei verschlechterter Bildqualität aufrecht, was darauf hindeutet, dass die frontseitige optische Filterung und das On-Chip-Netzwerk dem System helfen, mit Rauschen und schwachem Licht zurechtzukommen.

Was dieses neue elektronische Auge bedeutet

Für Nicht-Spezialisten ist die Kernbotschaft, dass NEOSTI zeigt, wie künftige Kameras weit mehr tun können als nur Bilder aufzunehmen. Indem Licht geformt wird, bevor es den Sensor erreicht, Helligkeit in robuste Pulssignale verwandelt und einfache lernfähige Schaltungen direkt auf dem Chip hinzugefügt werden, verhält sich NEOSTI eher wie ein Miniatur-Auge und -Gehirn in einem. Es kann Muster und Aktionen mit deutlich weniger Energie und Hardware erkennen als herkömmliche Setups, die auf große externe Prozessoren angewiesen sind. Zwar sind weitere Arbeiten nötig, um Auflösung zu erhöhen und Farbe hinzuzufügen, doch dieser Ansatz weist auf kompakte, energiearme Sichtmodule hin, die Alltagsmaschinen eine natürlicher wirkende, reaktionsschnellere Wahrnehmung verleihen könnten.

Zitation: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

Schlüsselwörter: neuromorphe Sicht, Bildsensor, optische Datenverarbeitung, Edge-AI, energieeffiziente Robotik