NEOSTI - un sensore d’immagine ibrido elettronico-opto neuromorfico spazio-temporale

Perché conta un occhio elettronico più intelligente

Dalle auto a guida autonoma ai robot domestici, le macchine hanno sempre più bisogno di vedere il mondo con chiarezza e reagire rapidamente senza consumare enormi quantità di energia. Le fotocamere digitali di oggi catturano immagini nitide ma poi devono trasferire grandi quantità di dati a chip remoti o server cloud per l’elaborazione intensa, cosa che costa tempo ed energia. Questo articolo presenta NEOSTI, un piccolo sistema di telecamera ispirato all’occhio umano in grado di percepire, comprimere e comprendere le scene visive direttamente su chip, promettendo una visione più veloce ed efficiente per i dispositivi futuri.

Come i nostri occhi ispirano la nuova visione delle macchine

L’occhio umano gestisce flussi enormi di informazioni visive con una notevole efficienza. Oltre 130 milioni di cellule sensibili alla luce nella retina catturano la luce in arrivo, ma un’elaborazione intelligente nella stessa retina comprime quei dati di oltre cento volte prima di inviarli attraverso il nervo ottico. La retina gestisce con facilità sia la luce solare intensa sia la luce stellare fioca, consumando solo pochi milliwatt. Per contro, la maggior parte dei sistemi di visione artificiale si basa su sensori d’immagine convenzionali che registrano semplicemente la luminosità dei pixel e inviano immagini grezze a processori potenti, consumando molta più energia e faticando a soddisfare i tempi di risposta necessari per robot, droni o automobili in movimento.

Una piccola camera che pensa mentre guarda

NEOSTI (acronimo di Neuromorphic Electronic Opto Spatial Temporal Imager) copia diversi trucchi dalla biologia per affrontare questi limiti. Invece di trattare il sensing e il calcolo come passi separati, NEOSTI li fonde insieme. Innanzitutto, una maschera ottica patternata si trova davanti al chip e funziona come un filtro integrato senza lente, eseguendo una sorta di selezione scorrevole sulla scena prima ancora che la luce raggiunga il sensore. Questo riduce la quantità di informazioni da gestire successivamente. Poi, pixel specializzati convertono la luce in impulsi in modo non lineare che somiglia alla risposta di bastoncelli e coni nell’occhio, estendendo il loro intervallo utile da ambienti molto scuri a quelli molto luminosi. Infine, una rete neurale compatta integrata direttamente sul chip analizza i pattern risultanti per riconoscere forme, capi d’abbigliamento, posizioni degli occhi o anche azioni umane in brevi clip video.

Luce, impulsi e semplice elaborazione on-chip

All’interno di NEOSTI, ogni pixel fa più che misurare la luminosità. Quando la luce colpisce un pixel, la tensione scende fino a innescare un impulso la cui larghezza dipende dall’intensità luminosa, sostituendo il consueto segnale di tensione continuo con un segnale temporale più facile da gestire nella logica digitale. Spostando lentamente il punto di innesco durante ogni esposizione, i pixel imitano il comportamento adattivo dell’occhio, restando sensibili nelle scene scure evitando sovraccarichi in quelle molto luminose. Direttamente sotto l’area di rilevamento, piccoli elementi di elaborazione confrontano i pixel vicini sommando o sottraendo il numero dei loro impulsi, eliminando lo sfondo ridondante e mettendo in risalto bordi e movimento. Una pipeline hardware poi passa questi risultati attraverso semplici fasi che richiamano gli strati di una rete neurale, riducendo gradualmente i dati mantenendo le caratteristiche più informative.

Mettere il sistema alla prova

I ricercatori hanno valutato NEOSTI su diversi compiti noti di immagini e video. Nonostante la risoluzione modesta e il basso consumo, il chip ha classificato correttamente cifre manoscritte, articoli di moda, disegni semplici e immagini sintetiche di occhi con accuratezze oltre il 90 percento nella maggior parte dei casi. Ha anche gestito un dataset video di persone che eseguono azioni come correre, saltare e piegarsi, raggiungendo circa il 91 percento di accuratezza. Test che attivavano solo la maschera ottica o solo l’elettronica on-chip hanno mostrato che entrambe le parti sono necessarie; usare il sistema completo ha migliorato l’accuratezza di più di dieci punti percentuali rispetto a ciascuna parte singolarmente. NEOSTI ha inoltre mantenuto prestazioni stabili al degradarsi della qualità dell’immagine, suggerendo che il filtraggio ottico front-end e la rete neurale on-chip aiutano il sistema a far fronte a rumore e scarsa illuminazione.

Che cosa significa questo nuovo occhio elettronico

Per i non specialisti, il messaggio chiave è che NEOSTI dimostra come le telecamere future possano fare molto più che catturare immagini. Modellando la luce prima che raggiunga il sensore, trasformando la luminosità in segnali a impulsi robusti e aggiungendo semplici circuiti di apprendimento direttamente sul chip, NEOSTI si comporta più come un piccolo occhio e cervello combinati. Può riconoscere pattern e azioni usando molta meno energia e hardware rispetto agli allestimenti tradizionali che si basano su grandi processori esterni. Pur richiedendo ulteriori sviluppi per aumentare la risoluzione e introdurre il colore, questo approccio indica la strada verso moduli di visione compatti e a basso consumo che potrebbero fornire alle macchine di uso quotidiano una vista più naturale e reattiva.

Citazione: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

Parole chiave: visione neuromorfica, sensore d’immagine, calcolo ottico, edge AI, robotica a basso consumo