Calcul In-situ des Données avec une Architecture Un-Pixel-Plusieurs-Mémristors pour une Vision Neuromorphique Séquentielle

Pourquoi une vision plus rapide compte

Chaque fois qu’une caméra de téléphone, de robot ou de voiture autonome enregistre le monde, elle doit d’abord capturer des images, puis les envoyer vers une puce séparée pour analyse. Ces allers-retours gaspillent du temps et de l’énergie, en particulier pour les flux vidéo. L’étude à l’origine de cet article explore un nouveau type « d’œil » électronique capable à la fois de stocker et de traiter l’information visuelle presque à l’endroit où la lumière arrive, s’inspirant de la manière dont le cerveau humain traite les scènes en mouvement.

Comment nos yeux et notre cerveau gèrent le mouvement

Chez l’humain, l’œil transforme la lumière en minuscules impulsions électriques qui voyagent le long des nerfs jusqu’au cerveau. Là, une sorte de mémoire visuelle à court terme conserve les images récentes et réalise un premier tri rapide avant la reconnaissance plus approfondie. Ce filtrage précoce réduit la quantité d’informations à déplacer, aidant le cerveau à rester à la fois rapide et économe en énergie. Le nouveau travail emprunte cette idée, visant à doter les systèmes de vision artificielle d’une mémoire de travail visuelle locale.

Un nouveau partenariat pixel-mémoire

Les chercheurs ont construit un système matériel dans lequel chaque pixel détecteur de lumière est relié à de nombreux petits éléments de mémoire sur une puce. Ces éléments, appelés mémristors, peuvent stocker une plage de valeurs, pas seulement un état tout ou rien, ce qui les rend bien adaptés pour conserver des nuances de luminosité. Dans la conception, un circuit analogique simple convertit le signal lumineux du pixel en une tension qui programme directement plusieurs mémristors à la fois. Cette configuration un pixel vers plusieurs mémristors crée une carte compacte de la scène directement dans la grille mémoire, similaire à la manière dont les fibres nerveuses de la rétine se diffusent vers de nombreuses cellules cérébrales.

Balayer les images rapidement

Pour capturer efficacement les images en mouvement, l’équipe a introduit une stratégie d’« exposition en rouleau ». Plutôt que de saisir une trame entière et de l’envoyer, le système écrit une colonne de pixels dans la matrice de mémristors, puis passe rapidement à la colonne suivante jusqu’à ce que l’image complète soit stockée. Une méthode spéciale d’impulsion unique programme de nombreux mémristors en parallèle, échangeant une légère perte de précision contre un gain énorme en vitesse. Des tests avec des silhouettes d’actions humaines simples et un portrait montrent que les images restituées par la puce conservent les formes et les visages clés suffisamment clairs pour une reconnaissance fiable, même si un peu de bruit subsiste.

Penser là où vivent les images

La plupart des matériels de vision intelligents actuels séparent encore la détection, le stockage et le calcul. En revanche, ce système effectue une partie du « raisonnement » directement à l’intérieur de la même matrice de mémristors qui contient l’image. Les chercheurs appliquent des motifs de tension soigneusement choisis à travers l’image stockée, permettant à la grille elle‑même d’exécuter les opérations mathématiques de base d’un réseau neuronal. Seuls les résultats condensés sont ensuite envoyés vers un second bloc de mémristors qui termine la classification. Sur un jeu de données bien connu d’actions humaines, le matériel a reconnu des mouvements tels que courir, sauter et marcher avec une précision de 95,7 %, proche des simulations informatiques.

Pourquoi cette approche pourrait reshaper les yeux machine

Parce que la détection, le stockage à court terme et le traitement précoce sont étroitement liés, la nouvelle architecture réduit fortement le besoin de transférer des données entre des puces séparées. Les auteurs estiment que leur conception peut diminuer le délai entre capture et stockage d’environ deux mille fois, et réduire la consommation d’énergie pour le traitement d’image d’environ 160 fois comparé à un système numérique typique utilisant une mémoire standard. Pour les utilisateurs quotidiens, cela pourrait un jour se traduire par des caméras et des appareils guidés par la vision plus petits, plus frais et plus réactifs, qui observent le monde de façon plus proche de la nôtre, ne conservant que ce qui est nécessaire à chaque instant.

Citation: Sun, Y., Tong, P., Shen, J. et al. Data-In-situ Computing with One-Pixel-Multiple-Memristor Architecture for Neuromorphic Sequential Vision. Nat Commun 17, 4244 (2026). https://doi.org/10.1038/s41467-026-70860-y

Mots-clés: vision neuromorphique, mémristor, calcul en mémoire, images séquentielles, IA économe en énergie