Однородная интеграция оптоэлектронных нейронов на основе двумерных материалов и ферроэлектрических синапсов для нейроморфного зрения

Умное зрение ближе к глазу

Современные камеры и компьютеры расходуют много энергии, постоянно перекачивая изображения между отдельными микросхемами для датчиков, памяти и обработки. В этой статье описан новый тип миниатюрного «электронного глаза», который объединяет все три функции в одном материале. Подражая тому, как сетчатка человека преобразует свет в электрические импульсы, исследователи показывают путь к компактным, энергоэффективным системам зрения, которые могут помочь автомобилям, роботам и портативным устройствам видеть и реагировать в реальном времени.

Почему современное машинное зрение тратит ресурсы впустую

Большинство цифровых систем зрения следуют знакомой схеме: датчик камеры фиксирует свет, данные пересылаются в память, а процессор выполняет вычисления. Поскольку эти элементы разделены, необработанные изображения приходится многократно считывать, перемещать и записывать заново, что требует времени и энергии. Это становится серьёзной проблемой для задач вроде систем помощи водителю или беспилотников, где необходимо в реальном времени анализировать быстрые непрерывные видеопотоки на периферии. Мозг избегает этого узкого места, выполняя раннюю обработку прямо в сетчатке, где светочувствительные клетки и нервные соединения тесно переплетены. Авторы стремятся перенести подобную «в датчике» стратегию в электронику, используя аппаратные элементы, которые естественным образом оперируют нервными импульсами, а не традиционными цифровыми сигналами.

Светочувствительный нейрон, собранный из листа атомов

В основе работы лежит светочувствительный искусственный нейрон из дисульфида молибдена (MoS₂), двумерного полупроводника всего в несколько атомных слоёв толщиной. При воздействии света в этом устройстве заряды захватываются на интерфейсе и постепенно повышают его электрический отклик, напоминая нарастание мембранного потенциала биологического нейрона под влиянием входящих сигналов. Как только этот отклик пересекает заданный порог, небольшой электрический контур заставляет устройство сгенерировать краткий импульс и затем автоматически сбрасывается, готовое к следующему пакету света. Поскольку один и тот же миниатюрный транзистор одновременно чувствует свет и аккумулирует сигнал со временем, не требуется громоздкого конденсатора. Нейрон реагирует на разные цвета (красный, зелёный и синий) и может кодировать изображения двумя полезными способами: частотой генерируемых импульсов и временем задержки до первого импульса после изменения яркости.

Электронные синапсы, которые запоминают

В дополнение к нейронам команда создаёт искусственные синапсы — устройства, проводимость которых можно настраивать и сохранять. Они основаны на ферроэлектрических полевых транзисторах, где специальный оксидный слой удерживает внутреннюю электрическую поляризацию даже после снятия управляющего напряжения. Посредством последовательности кратких напряженностей проводимость каждого синапса можно ступенчато увеличивать или уменьшать примерно на 50 устойчивых уровней, имитируя усиление и ослабление связей между реальными нейронами в процессе обучения. Конструкция отделяет ферроэлектрический слой от основного канала изоляционным буфером, что улучшает стабильность и позволяет регулировать окно памяти геометрией. Синапсы работают как миниатюрные переменные резисторы, идеальные для выполнения операций умножения и суммирования, лежащих в основе вычислений нейронных сетей.

Сборка системы для видения и распознавания

Дальше исследователи демонстрируют, что и нейроны, и синапсы можно изготовить из MoS₂ на одной и той же пластине, формируя компактный массив, где светочувствительные нейроны подают свои импульсы непосредственно в сетку синопсов с памятью. Оставшаяся электроника нейронов размещена на простой печатной плате. В тестах и подробных моделированиях система сначала кодирует цветовые шаблоны в последовательности импульсов, а затем классифицирует их с помощью небольшой импульсной нейронной сети, достигая около 92% точности в базовых задачах распознавания цветов. Продолжая, авторы моделируют более крупную сеть, использующую измеренное поведение устройств для обнаружения автомобилей и пешеходов на дорожных изображениях. После обучения эта сеть на основе импульсов правильно идентифицирует объекты в наборе дорожных данных примерно в 94% случаев, при этом опираясь на встроенные аппаратные коды времени и частоты для устойчивости и скорости.

Что это значит для будущих электронных глаз

Объединив светочувствительность, нейронный стиль кодирования и синаптическую память на единой платформе из двумерного материала, работа приближает нейроморфное зрение к практическим чипам, которые могут видеть и принимать решения самостоятельно. Нейрон на базе MoS₂ точно повторяет ключевые поведенческие черты биологических клеток, а ферроэлектрические синапсы обеспечивают тонкое, энергоэффективное хранение весов без дополнительных блоков памяти. Хотя сегодняшняя демонстрация невелика и по-прежнему зависит от внешней электроники и обучения в программном обеспечении, результаты указывают на то, что будущие камеры смогут включать слои таких устройств прямо в датчик. Это позволило бы машинам фильтровать, распознавать и мгновенно реагировать на визуальные сцены, потребляя значительно меньше энергии по сравнению с отправкой каждого пикселя на удалённый процессор.

Цитирование: Wang, J., Liu, K., Tiw, P.J. et al. Homogeneous integration of two-dimensional material-based optoelectronic neurons and ferroelectric synapses for neuromorphic vision. Nat Commun 17, 2538 (2026). https://doi.org/10.1038/s41467-026-68905-3

Ключевые слова: нейроморфное зрение, импульсные нейронные сети, двумерные материалы, вычисления в датчике, ферроэлектрические синапсы