Вы́сокочувствительная вычислительная система у сенсора, вдохновлённая зрением совы

Вижу в темноте, как сова

Представьте себе дрон, который может обнаружить потерявшегося туриста или удалённый космический аппарат без каких‑либо прожекторов, даже при свете звёзд настолько слабом, что обычные камеры почти ничего не видят. В этой работе описано новое аппаратное решение для зрения, вдохновлённое совами, которое приближает такую возможность к реальности. Подражая тому, как глаза совы адаптируются к темноте и как её мозг эффективно обрабатывает слабые сигналы, исследователи создали крошечный электронный «синапс», который одновременно ощущает тусклый свет и выполняет часть вычислений, необходимых для распознавания, непосредственно на сенсоре.

Почему существующие машины испытывают трудности ночью

Современный искусственный интеллект умеет распознавать лица, объекты и сцены с впечатляющей точностью, но это обычно требует мощных чипов, расходующих огромное количество энергии. Традиционные камеры также разделяют этапы съёмки и вычислений: сначала камера фиксирует изображение, затем удалённые процессоры обрабатывают данные. При очень низкой освещённости такие камеры, как правило, не справляются без ярких ламп или тяжёлой цифровой усилительной обработки. В отличие от этого, глаз и мозг совы работают вместе: её сетчатка накапливает крошечные потоки фотонов с течением времени, а нейронные цепи адаптируются так, что тусклые контуры постепенно становятся различимыми. Авторы стремятся перенести аналогичную, тесно интегрированную и энергоэффективную стратегию в машинное зрение.

Крошечное устройство, которое «учится» от света

В основе работы лежит «вдохновлённый совой двухрежимный адаптивный синапс» — небольшое устройство на транзисторной базе, которое одновременно функционирует как фотосенсор и как обучаемое соединение между нейронами. Устройство построено слоями: прозрачный нижний электрод, диэлектрическая плёнка, способная захватывать заряды, специально спроектированная светопоглощающая смесь и органический полупроводниковый канал сверху. Когда на поглощающий слой попадает слабый свет, генерируются единичные носители заряда, которые под действием приложенного напряжения захватываются в диэлектрике и накапливаются в канале. Это постепенно усиливает электрическую реакцию устройства, аналогично тому, как палочки в сетчатке совы становятся более чувствительными по мере адаптации к темноте. Авторы показывают, что их устройство реагирует на интенсивности света до 0,146 нановатт на квадратный сантиметр — примерно на три порядка величины слабее порога стандартных камерных чипов — при этом демонстрируя сильное, настраиваемое усиление, характеризующее его тёмную адаптацию.

В роли искусственного синапса

Помимо простого детектирования света, устройство также имитирует поведение биологических синапсов, которые усиливаются или ослабевают в зависимости от активности. При повторяющихся световых импульсах в широком диапазоне длин волн — от ультрафиолета до ближнего инфракрасного — ток устройства увеличивается ступенчато и устойчиво, сохраняя память об оптической истории. При электрических импульсах, приложенных к затвору, наблюдаются долгосрочная потенциация и депрессия — постепенные, обратимые изменения проводимости, кодирующие «веса» синапсов в искусственных нейронных сетях. Эти веса сохраняются неэнергозависимо, то есть устройство запоминает их без постоянного питания, и их можно изменять на несколько уровней, подобно многобитному цифровому значению. Существенно, что каждое синаптическое событие потребляет энергию порядка 10 фемтоджоулей, что сопоставимо или даже ниже оценок для биологических синапсов и на несколько порядков меньше энергозатрат типичного ИИ‑оборудования.

От одиночного синапса к системе зрения

Чтобы подтвердить применимость на масштабе, команда изготовила матрицу из 19 на 17 устройств и показала, что они работают равномерно. Когда на массив проецируется слабый световой узор, фототоки в освещённых точках постепенно растут в процессе адаптации, выявляя ранее скрытые формы при ультранизком уровне освещённости — подобно тому, как сетчатка совы уточняет изображение в темноте. Авторы затем отображают множественные уровни проводимости устройства на веса в моделях машинного обучения, включая простые многослойные перцептроны, свёрточные сети и глубокую архитектуру в стиле VGG. Даже при относительно грубых, дискретных весах эти смоделированные сети достигают более 90 процентов точности на стандартных наборах изображений, демонстрируя, что синаптические состояния подходят для практических вычислений.

Ночное зрение для дронов и не только

Для демонстрации реального потенциала исследователи смоделировали систему распознавания «воздух‑поверхность», установленную на небольшом дроне, обученную обнаруживать цель в форме одежды при разных уровнях яркости, соответствующих звёздному свету. Связав временную зависимость отклика устройства с контрастом захваченных изображений, они построили предобработку, которая «адаптирует» изображение, усиливая полезный контраст при сохранении реалистичного поведения сенсора. Популярная сеть для обнаружения объектов (YOLOv5), обученная на таких адаптированных данных, достигает более 95 процентов распознавания даже при самом низком протестированном уровне освещённости. Проще говоря, работа показывает, что сочетание совоподобной тёмной адаптации с встроенным синаптическим обучением непосредственно на сенсоре позволяет продвинуть машинное зрение в условия, где традиционные камеры теряют работоспособность, при значительно меньшем потреблении энергии. Такая технология в перспективе может лечь в основу поисково‑спасательных дронов, автономных исследователей или астрономических инструментов, которые видят больше, излучая меньше.

Цитирование: Zhao, Z., Cao, Y., Huang, S. et al. Owl-vision-inspired near sensor computing. Nat Commun 17, 2676 (2026). https://doi.org/10.1038/s41467-026-69123-7

Ключевые слова: зрение при низкой освещённости, нейроморфный сенсор, изображение, вдохновлённое совой, вычисления у сенсора, обнаружение объектов ночью