Calcolo In-situ dei Dati con Architettura One-Pixel-Multiple-Memristor per Visione Sequenziale Neuromorfica

Perché una visione più veloce è importante

Ogni volta che una camera in uno smartphone, in un robot o in un’auto a guida autonoma registra il mondo, deve prima catturare le immagini e poi inviarle a un chip separato per l’analisi. Questo continuo trasferimento spreca tempo ed energia, soprattutto per i flussi video. Lo studio descritto in questo articolo esplora un nuovo tipo di “occhio” elettronico che può sia memorizzare sia elaborare l’informazione visiva quasi dove la luce colpisce inizialmente, traendo ispirazione dal modo in cui il cervello umano gestisce le scene in movimento.

Come occhi e cervello trattano il movimento

Nell’essere umano, l’occhio trasforma la luce in piccoli impulsi elettrici che viaggiano lungo i nervi fino al cervello. Lì, una sorta di memoria visiva a breve termine conserva le immagini recenti ed esegue un primo filtraggio rapido prima che avvenga un riconoscimento più profondo. Questo filtraggio iniziale riduce la quantità di informazioni da spostare, aiutando il cervello a essere veloce ed efficiente dal punto di vista energetico. Il nuovo lavoro prende in prestito questa idea, con l’obiettivo di fornire ai sistemi di visione artificiale una propria memoria di lavoro visiva locale.

Una nuova collaborazione tra pixel e memoria

I ricercatori hanno costruito un sistema hardware in cui ogni pixel sensibile alla luce è collegato a molti piccoli elementi di memoria sul chip. Questi elementi, chiamati memristori, possono memorizzare una gamma di valori, non solo gli stati binari acceso/spento, il che li rende adatti a rappresentare sfumature di luminosità. Nel progetto, un semplice circuito analogico converte il segnale di luce del pixel in una tensione che programma direttamente più memristori contemporaneamente. Questa disposizione «un pixel–più memristori» crea una mappa compatta della scena direttamente nella griglia di memoria, simile a come i fasci nervosi dalla retina si diramano in molte cellule cerebrali.

Scorrere rapidamente attraverso le immagini

Per catturare immagini in movimento in modo efficiente, il team ha introdotto una strategia di «esposizione a scorrimento». Invece di acquisire un intero fotogramma e inviarlo altrove, il sistema scrive una colonna di pixel nell’array di memristori, poi passa rapidamente alla colonna successiva fino a memorizzare l’immagine completa. Un metodo speciale a impulso singolo programma molti memristori in parallelo, scambiando una piccola perdita di precisione per un enorme guadagno in velocità. Test con sagome di azioni umane semplici e un’immagine di ritratto mostrano che le immagini ripristinate dal chip mantengono le forme principali e i volti sufficientemente chiari per un riconoscimento affidabile, sebbene sia presente un po’ di rumore.

Pensare dove risiedono le immagini

La maggior parte dell’hardware per la visione intelligente attuale separa ancora sensing, memoria ed elaborazione. Invece, questo sistema esegue parte del «pensiero» direttamente all’interno della stessa matrice di memristori che contiene l’immagine. I ricercatori applicano pattern di tensione accuratamente scelti attraverso l’immagine memorizzata, consentendo alla griglia stessa di compiere i passi matematici di base di una rete neurale. Solo i risultati condensati vengono poi inviati a un secondo blocco di memristori che completa la classificazione. Nei test su un noto dataset di azioni umane, l’hardware ha riconosciuto movimenti come corsa, salto e cammino con una precisione del 95,7 percento, vicino a quanto ottenuto nelle simulazioni al computer.

Perché questo approccio potrebbe rimodellare gli occhi delle macchine

Poiché sensing, memoria a breve termine ed elaborazione precoce sono strettamente integrati, la nuova architettura riduce notevolmente la necessità di spostare dati tra chip separati. Gli autori stimano che il loro progetto possa ridurre il ritardo temporale per acquisizione e memorizzazione delle immagini di circa duemila volte e diminuire il consumo energetico per l’elaborazione delle immagini di circa 160 volte rispetto a un tipico sistema digitale che usa memoria standard. Per gli utenti di tutti i giorni, questo potrebbe un giorno tradursi in camere e dispositivi di visione più piccoli, meno soggetti a riscaldamento e più reattivi, che osservano il mondo in modo più simile a come lo facciamo noi, prendendo da ogni momento solo ciò che è necessario.

Citazione: Sun, Y., Tong, P., Shen, J. et al. Data-In-situ Computing with One-Pixel-Multiple-Memristor Architecture for Neuromorphic Sequential Vision. Nat Commun 17, 4244 (2026). https://doi.org/10.1038/s41467-026-70860-y

Parole chiave: visione neuromorfica, memristore, calcolo in memoria, immagini sequenziali, IA a basso consumo