NEOSTI - un capteur d’image hybride électronique-opto spatiale-temporelle neuromorphique

Pourquoi un œil électronique plus intelligent est important

Des voitures autonomes aux robots domestiques, les machines doivent de plus en plus voir clairement et réagir rapidement sans consommer des quantités d’énergie énormes. Les appareils photo numériques actuels collectent des images nettes mais doivent ensuite transmettre d’énormes volumes de données vers des puces distantes ou des serveurs cloud pour un traitement intensif, ce qui coûte du temps et de l’énergie. Cet article présente NEOSTI, un petit système caméra inspiré de l’œil humain qui peut détecter, compresser et comprendre des scènes visuelles directement sur une puce, promettant une vision plus rapide et plus efficace pour les appareils futurs.

Comment nos yeux inspirent une nouvelle vision machine

L’œil humain traite des flux considérables d’informations visuelles avec une efficacité remarquable. Plus de 130 millions de cellules photosensibles dans la rétine captent la lumière entrante, mais un traitement intelligent au sein même de l’œil compresse ces données d’un facteur supérieur à cent avant de les envoyer le long du nerf optique. La rétine gère aussi bien la lumière vive du soleil que la faible lumière des étoiles, tout en n’utilisant que quelques milliwatts. En revanche, la plupart des systèmes de vision machine s’appuient sur des capteurs d’image conventionnels qui se contentent d’enregistrer la luminosité des pixels et d’envoyer des images brutes à des processeurs puissants, consommant beaucoup plus d’énergie et peinant à atteindre les temps de réponse de l’ordre de la fraction de seconde nécessaires pour les robots, drones ou voitures en mouvement.

Une petite caméra qui pense pendant qu’elle regarde

NEOSTI (pour Neuromorphic Electronic Opto Spatial Temporal Imager) reprend plusieurs astuces de la biologie pour surmonter ces limites. Plutôt que de considérer la détection et le calcul comme des étapes séparées, NEOSTI les combine. D’abord, un masque optique structuré est placé devant la puce et agit comme un filtre intégré sans lentille, effectuant une sorte de sélection glissante sur la scène avant même que la lumière n’atteigne le capteur. Cela réduit la quantité d’information à traiter ensuite. Ensuite, des pixels spécialisés convertissent la lumière en impulsions de façon non linéaire, ce qui ressemble à la réponse des bâtonnets et des cônes de l’œil, étendant leur plage utile des scènes très sombres aux scènes très lumineuses. Enfin, un réseau neuronal compact intégré directement sur la puce analyse les motifs résultants pour reconnaître des formes, des vêtements, des positions des yeux ou même des actions humaines dans de courts clips vidéo.

Lumière, impulsions et réflexion simple sur puce

À l’intérieur de NEOSTI, chaque pixel fait plus que mesurer la luminosité. Lorsqu’un pixel est frappé par la lumière, la tension chute jusqu’à déclencher une impulsion dont la durée dépend de l’intensité lumineuse, remplaçant le signal de tension continu habituel par un signal temporel plus simple à gérer en logique numérique. En décalant lentement le point de déclenchement au cours de chaque exposition, les pixels imitent le comportement adaptatif de l’œil, restant sensibles dans les scènes peu lumineuses tout en évitant la saturation en plein jour. Directement sous la zone de détection, de petits éléments de traitement comparent les pixels voisins en additionnant ou en soustrayant leurs comptes d’impulsions, éliminant les arrière-plans redondants et mettant en évidence les contours et les mouvements. Un pipeline matériel fait ensuite passer ces résultats par des étapes simples qui rappellent des couches de réseau neuronal, réduisant progressivement les données tout en conservant les caractéristiques les plus informatives.

Mise à l’épreuve du système

Les chercheurs ont évalué NEOSTI sur plusieurs tâches d’image et de vidéo bien connues. Malgré sa résolution modeste et sa faible consommation, la puce a correctement classé des chiffres manuscrits, des articles de mode, des dessins simples et des images oculaires synthétiques avec des précisions supérieures à 90 % dans la plupart des cas. Elle a aussi traité un ensemble de vidéos montrant des personnes effectuant des actions comme courir, sauter ou se pencher, où elle a atteint environ 91 % de précision. Des tests activant uniquement le masque optique ou uniquement l’électronique sur puce ont montré que les deux parties sont nécessaires ; l’utilisation du système complet améliore la précision de plus de dix points de pourcentage par rapport à chacune des parties prises séparément. NEOSTI a également conservé des performances stables à mesure que la qualité d’image se dégradait, ce qui suggère que le filtrage optique en amont et le réseau neuronal intégré aident le système à faire face au bruit et au faible éclairage.

Ce que signifie ce nouvel œil électronique

Pour les non-spécialistes, le message clé est que NEOSTI montre comment les caméras du futur peuvent faire bien plus que capturer des images. En façonnant la lumière avant qu’elle n’atteigne le capteur, en transformant la luminosité en signaux d’impulsions robustes et en ajoutant de simples circuits d’apprentissage directement sur la puce, NEOSTI se comporte davantage comme un œil et un cerveau miniaturisés combinés. Il peut reconnaître des motifs et des actions en utilisant beaucoup moins d’énergie et de matériel que les systèmes traditionnels qui s’appuient sur de gros processeurs externes. Bien que des travaux supplémentaires soient nécessaires pour augmenter la résolution et ajouter la couleur, cette approche ouvre la voie à des modules de vision compacts et basse consommation qui pourraient doter les machines quotidiennes d’une vue plus naturelle et réactive.

Citation: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

Mots-clés: vision neuromorphique, capteur d’image, calcul optique, IA en périphérie, robotique basse consommation