NEOSTI — нейроморфный электронно-оптический пространственно-временной гибридный датчик изображения

Почему важен более умный электронный глаз

От автономных автомобилей до домашних роботов — машинам всё чаще нужно ясно видеть мир и быстро реагировать, не расходуя при этом огромные объёмы энергии. Современные цифровые камеры снимают чёткие изображения, но затем должны отправлять огромные объёмы данных на удалённые чипы или в облако для тяжёлой обработки, что требует времени и энергии. В этой статье представлен NEOSTI — крошечная камера, вдохновлённая человеческим глазом, которая может ощущать, сжимать и интерпретировать визуальные сцены прямо на кристалле, обещая более быстрое и эффективное зрение для будущих устройств.

Как наши глаза вдохновляют новое машинное зрение

Человеческий глаз обрабатывает огромные потоки визуальной информации с поразительной эффективностью. Более 130 миллионов светочувствительных клеток в сетчатке улавливают падающий свет, но умная обработка уже в глазу сжимает эти данные более чем в сто раз перед отправкой по зрительному нерву. Сетчатка также легко справляется с ярким солнечным светом и тусклым свечением звёзд, потребляя при этом всего несколько милливатт. Для сравнения, большинство систем машинного зрения полагаются на традиционные сенсоры изображения, которые просто фиксируют яркость пикселей и пересылают сырые кадры на мощные процессоры, потребляя гораздо больше энергии и испытывая трудности с обеспечением реакции за доли секунды, необходимой для движущихся роботов, дронов или автомобилей.

Крошечная камера, которая думает во время наблюдения

NEOSTI (сокращение от Neuromorphic Electronic Opto Spatial Temporal Imager) заимствует несколько приёмов у биологии, чтобы преодолеть эти ограничения. Вместо того чтобы рассматривать восприятие и вычисления как отдельные шаги, NEOSTI объединяет их. Сначала перед кристаллом располагается шаблонная оптическая маска, которая действует как встроенный фильтр без объектива, выполняя своего рода скользящий выбор по сцене ещё до того, как свет попадёт на сенсор. Это сокращает объём информации, с которым нужно работать дальше. Затем специализированные пиксели нелинейно преобразуют свет в импульсы, напоминая отклик палочек и колбочек в глазу, расширяя полезный динамический диапазон от очень тёмных до очень ярких условий. Наконец, компактная нейронная сеть, встроенная прямо на чип, анализирует получившиеся шаблоны, чтобы распознавать формы, предметы одежды, положение глаз или даже человеческие действия в коротких видеоклипах.

Свет, импульсы и простое мышление на кристалле

Внутри NEOSTI каждый пиксель делает больше, чем просто измеряет яркость. По мере падения света на пиксель напряжение снижается до тех пор, пока не сработает импульс, ширина которого зависит от интенсивности света, заменяя обычный плавный сигнал напряжения временным сигналом, которым проще управлять в цифровой логике. Постепенно смещая порог срабатывания в течение каждой экспозиции, пиксели имитируют адаптивное поведение глаза: остаются чувствительными в тусклых сценах и при этом избегают перегрузки при ярком свете. Непосредственно под областью сенсора небольшие вычислительные элементы сравнивают соседние пиксели, суммируя или вычитая их число импульсов, устраняя избыточный фон и подчеркивая края и движение. Аппаратный конвейер затем пропускает эти результаты через простые этапы, напоминающие слои нейронной сети, постепенно сокращая объём данных при сохранении наиболее информативных признаков.

Испытание системы

Исследователи оценивали NEOSTI на нескольких известных задачах обработки изображений и видео. Несмотря на скромное разрешение и низкое энергопотребление, чип правильно классифицировал рукописные цифры, предметы моды, простые рисунки и синтетические изображения глаз с точностью выше 90 процентов в большинстве случаев. Он также обработал видеодатасет людей, выполняющих действия, такие как бег, прыжки и наклоны, достигнув примерно 91 процента точности. Тесты, в которых включалась только оптическая маска или только встроенная электроника, показали, что обе части необходимы: использование полной системы улучшало точность более чем на десять процентных пунктов по сравнению с каждой отдельной частью. NEOSTI также сохранял стабильную производительность при ухудшении качества изображений, что указывает на то, что фронтальная оптическая фильтрация и встроенная нейросеть помогают системе справляться с шумом и низкой освещённостью.

Что означает этот новый электронный глаз

Для неспециалистов основной вывод таков: NEOSTI показывает, что будущие камеры могут делать гораздо больше, чем просто фиксировать изображения. Формируя свет до того, как он попадёт на сенсор, превращая яркость в устойчивые импульсные сигналы и добавляя простые обучаемые схемы прямо на кристалл, NEOSTI ведёт себя скорее как миниатюрный глаз и мозг вместе взятые. Он может распознавать шаблоны и действия, используя значительно меньше энергии и аппаратных средств по сравнению с традиционными системами, зависящими от больших внешних процессоров. Хотя для увеличения разрешения и добавления цвета потребуется дальнейшая работа, этот подход указывает путь к компактным, малоэнергозатратным модулям зрения, которые могут дать повседневным машинам более естественное и отзывчивое «зрение».

Цитирование: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

Ключевые слова: нейроморфное зрение, датчик изображения, оптические вычисления, edge AI, робототехника с низким энергопотреблением