Вычисления прямо в данных с архитектурой «один пиксель — множество мемристоров» для нейроморфного последовательного зрения

Почему важно более быстрое зрение

Каждый раз, когда камера в телефоне, роботе или беспилотном автомобиле фиксирует окружающий мир, ей сначала нужно захватить изображения, а затем переслать их на отдельный чип для анализа. Такое «туда–обратно» тратит время и энергию, особенно при потоковом видео. Исследование, лежащее в основе этой статьи, изучает новый тип электронного «глаза», который может одновременно сохранять и обрабатывать визуальную информацию практически в том месте, где свет сначала попадает, заимствуя идею у того, как человеческий мозг обрабатывает движущиеся сцены.

Как наши глаза и мозг обрабатывают движение

У людей глаз превращает свет в крошечные электрические импульсы, которые по нервам идут в мозг. Там своего рода кратковременная зрительная память удерживает недавние изображения и выполняет быструю предварительную сортировку до более глубокого распознавания. Эта ранняя фильтрация уменьшает объём информации, который нужно перемещать, помогая мозгу оставаться быстрым и энергоэффективным. Новая работа заимствует эту идею, стремясь дать искусственным системам зрения собственную локальную рабочую визуальную память.

Новое партнёрство пикселя и памяти

Исследователи создали аппаратную систему, в которой каждый светочувствительный пиксель связан со многими крошечными элементами памяти на чипе. Эти элементы, называемые мемристорами, могут хранить непросто два состояния «вкл/выкл», а диапазон значений, что делает их подходящими для представления оттенков яркости. В конструкции простой аналоговый тракт преобразует световой сигнал пикселя в напряжение, которое напрямую программирует сразу несколько мемристоров. Такая схема «один пиксель — много мемристоров» создаёт компактную карту сцены прямо в матрице памяти, подобно тому, как нервные волокна от сетчатки расходятся на множество клеток мозга.

Быстрое «прокручивание» изображений

Чтобы эффективно захватывать движущиеся картинки, команда предложила стратегию «скользящей выдержки». Вместо того чтобы снимать целый кадр и отправлять его, система записывает один столбец пикселей в массив мемристоров, затем быстро переходит к следующему столбцу, пока полное изображение не будет сохранено. Специальный метод одиночного импульса программирует многие мемристоры параллельно, жертвуя небольшой точностью ради огромного выигрыша в скорости. Тесты на простых силуэтах человеческих действий и портретном изображении показали, что восстановленные с чипа изображения сохраняют ключевые контуры и лица достаточно ясно для надёжного распознавания, несмотря на небольшие шумы.

«Думать» там, где хранятся изображения

Большинство современных умных визуальных систем всё ещё разделяют сенсоры, хранение и вычисления. В отличие от них, эта система выполняет часть «мышления» непосредственно в той же матрице мемристоров, которая хранит изображение. Исследователи прикладывают тщательно подобранные паттерны напряжения к сохранённой картине, позволяя самой сетке выполнять базовые математические операции нейронной сети. Только сжатые результаты затем передаются в второй блок мемристоров, который завершает классификацию. В тестах на известном наборе данных с человеческими действиями аппарат распознавал движения, такие как бег, прыжок и ходьба, с точностью 95,7 процента, близкой к компьютерным симуляциям.

Почему этот подход может изменить машинное зрение

Поскольку сенсорика, кратковременное хранение и ранняя обработка тесно интегрированы, новая архитектура значительно сокращает необходимость перемещать данные между отдельными чипами. Авторы оценивают, что их дизайн может уменьшить задержку при захвате и сохранении изображения примерно в две тысячи раз и сократить энергию обработки изображения примерно в 160 раз по сравнению со стандартной цифровой системой с обычной памятью. Для повседневных пользователей это однажды может означать более компактные, менее горячие и более отзывчивые камеры и устройства с визуальным управлением, которые наблюдают мир больше как мы — выбирая лишь то, что нужно из каждого момента времени.

Цитирование: Sun, Y., Tong, P., Shen, J. et al. Data-In-situ Computing with One-Pixel-Multiple-Memristor Architecture for Neuromorphic Sequential Vision. Nat Commun 17, 4244 (2026). https://doi.org/10.1038/s41467-026-70860-y

Ключевые слова: нейроморфное зрение, мемристор, вычисления в памяти, последовательные изображения, энергоэффективный ИИ