NEOSTI - neuromorficzny elektroniczno-optyczny hybrydowy czujnik obrazów czasowo-przestrzenny

Dlaczego mądrzejsze elektroniczne oko ma znaczenie

Od samochodów autonomicznych po roboty domowe, maszyny coraz częściej muszą widzieć świat jasno i reagować szybko bez zużywania ogromnych ilości energii. Dzisiejsze cyfrowe aparaty zbierają ostre obrazy, ale potem muszą przesyłać ogromne ilości danych do odległych układów lub serwerów w chmurze na potrzeby ciężkiego przetwarzania, co kosztuje czas i energię. W tym artykule przedstawiamy NEOSTI, maleńki system kamerowy inspirowany ludzkim okiem, który potrafi bezpośrednio na chipie wykrywać, kompresować i rozumieć sceny wizualne, obiecując szybsze i bardziej efektywne widzenie dla przyszłych urządzeń.

Jak nasze oczy inspirują nowe widzenie maszynowe

Ludzkie oko radzi sobie z ogromnymi strumieniami informacji wzrokowej z niezwykłą efektywnością. Ponad 130 milionów komórek światłoczułych w siatkówce wychwytuje padające światło, ale inteligentne przetwarzanie już w oku kompresuje te dane ponad stukrotnie, zanim zostaną przesłane nerwem wzrokowym. Siatkówka radzi sobie też zarówno z jasnym światłem słonecznym, jak i słabym światłem gwiazd, zużywając przy tym zaledwie kilka miliwatów mocy. Dla porównania, większość systemów widzenia maszynowego polega na konwencjonalnych czujnikach obrazu, które jedynie rejestrują jasność pikseli i wysyłają surowe obrazy do wydajnych procesorów, zużywając znacznie więcej energii i mając trudności z osiągnięciem reakcji w ułamkach sekundy potrzebnych robotom, dronom czy samochodom.

Maleńka kamera, która myśli, gdy patrzy

NEOSTI (skrót od Neuromorphic Electronic Opto Spatial Temporal Imager) kopiuje kilka trików z biologii, aby sprostać tym ograniczeniom. Zamiast traktować sensing i obliczenia jako oddzielne kroki, NEOSTI je scala. Na początku przed chipem znajduje się wzorzysta maska optyczna działająca jak wbudowany filtr bez soczewki, wykonująca rodzaj przesuwanej selekcji nad sceną, zanim światło dotrze do sensora. To ogranicza ilość informacji, którą trzeba później przetwarzać. Następnie wyspecjalizowane piksele przekształcają światło w impulsy w nieliniowy sposób, przypominający reakcję pręcików i czopków w oku, rozszerzając zakres użyteczności od bardzo ciemnych do bardzo jasnych warunków. Wreszcie, kompaktowa sieć neuronowa zintegrowana bezpośrednio na chipie analizuje powstałe wzory, by rozpoznawać kształty, elementy ubioru, pozycje oczu, a nawet ludzkie czynności w krótkich klipach wideo.

Światło, impulsy i proste myślenie na chipie

W NEOSTI każdy piksel robi więcej niż mierzy jasność. Gdy światło pada na piksel, napięcie spada, aż wyzwoli impuls którego szerokość zależy od natężenia światła, zastępując zwykły gładki sygnał napięciowy sygnałem czasowym, łatwiejszym do obsługi w logice cyfrowej. Poprzez powolne przesuwanie punktu wyzwalania podczas każdej ekspozycji, piksele naśladują adaptacyjne zachowanie oka, pozostając czułymi w słabym oświetleniu przy jednoczesnym unikaniu przesterowania w jasnych scenach. Bezpośrednio pod obszarem detekcji małe elementy przetwarzające porównują sąsiednie piksele przez dodawanie lub odejmowanie liczby ich impulsów, usuwając redundantne tło i podkreślając krawędzie oraz ruch. Potem linia sprzętowa przesyła te wyniki przez proste kroki przypominające warstwy sieci neuronowej, stopniowo redukując dane przy zachowaniu najbardziej informatywnych cech.

Testowanie systemu

Naukowcy ocenili NEOSTI na kilku dobrze znanych zadaniach obrazowych i wideo. Pomimo skromnej rozdzielczości i niskiego zużycia energii, układ poprawnie klasyfikował ręcznie pisane cyfry, elementy mody, proste rysunki i syntetyczne obrazy oczu z dokładnością przekraczającą 90 procent w większości przypadków. Poradził sobie też z zestawem wideo osób wykonujących czynności takie jak bieganie, skakanie i schylanie się, osiągając około 91 procent dokładności. Testy, w których włączano tylko maskę optyczną lub tylko elektronikę na chipie, wykazały, że oba elementy są konieczne; użycie pełnego systemu poprawiło dokładność o ponad dziesięć punktów procentowych w porównaniu z każdym z nich osobno. NEOSTI utrzymywał też stabilną wydajność w miarę pogarszania się jakości obrazu, co sugeruje, że przedni filtr optyczny i wbudowana sieć pomagają systemowi radzić sobie z szumem i słabym oświetleniem.

Co oznacza to nowe elektroniczne oko

Dla czytelników niebędących specjalistami kluczowa wiadomość jest taka, że NEOSTI pokazuje, jak przyszłe kamery mogą robić znacznie więcej niż tylko rejestrować obrazy. Kształtując światło zanim dotrze do sensora, zamieniając jasność w odporne sygnały impulsowe i dodając proste obwody uczące bezpośrednio na chipie, NEOSTI zachowuje się bardziej jak maleńkie oko i mózg połączone w jednym. Potrafi rozpoznawać wzorce i czynności używając znacznie mniej energii i sprzętu niż tradycyjne rozwiązania opierające się na dużych zewnętrznych procesorach. Choć potrzeba jeszcze pracy, by zwiększyć rozdzielczość i dodać kolor, podejście to wskazuje drogę ku kompaktowym, energooszczędnym modułom widzenia, które mogłyby dać codziennym maszynom bardziej naturalne i responsywne widzenie.

Cytowanie: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

Słowa kluczowe: neuromorficzne widzenie, czujnik obrazu, obliczenia optyczne, Sztuczna inteligencja na brzegu, robotyka o niskim poborze mocy