Оптическое энтропийное кодирование с повышением частоты для инфракрасной комплексно-амплитудной визуализации

Видеть невидимое тепло вокруг нас

От автомобилей, едущих ночью, до крошечных структур внутри живых клеток — большая часть мира испускает невидимый инфракрасный свет. Запись детализированных видеороликов этого «теплового света» кардинально изменила бы области от автономного вождения до медицинской визуализации, но современные инфракрасные камеры дороги, энергоёмки и часто медленны. В этой работе предложен новый способ превращения слабых инфракрасных сцен в чёткие изображения с кадровой частотой на базе обычных видимых сенсоров и сочетания продуманной оптики и ИИ.

Преобразование тепла в видимый свет

Стандартные инфракрасные камеры опираются на специализированные материалы, которые часто требуют охлаждения до очень низких температур, что делает приборы громоздкими и дорогими. Привлекательная альтернатива — «повысить» частоту инфракрасного света до видимого, чтобы дешёвые кремниевые датчики могли его зарегистрировать. Существующие методы повышения частоты делятся на две группы. Коэрентные техники сохраняют тонкие детали волнового поля, но требуют мощных лазеров и точной выверки. Не коэрентные методы, основанные на специальных светящихся материалах, проще и работают при гораздо более слабом свете, но при этом теряется волновая составляющая — фаза. Новая работа сочетает сильные стороны обоих подходов: она сохраняет простоту и чувствительность светящихся материалов и одновременно вновь даёт доступ к скрытой волновой информации.

Перемешивание света, чтобы раскрыть больше

Суть подхода — идея оптического энтропийного кодирования. Исследователи сначала пропускают входную инфракрасную сцену через шершавое стекло (ground glass), которое рассеивает свет в случайоподобный спекл-узор. Этот «перемешиватель» действует как сложный код, смешивая вместе и яркость, и волновую форму света. Затем тонкая плёнка с ионами лантанидов поглощает этот заспекленный инфракрасный свет и преобразует его в видимый свет через ступенчатый процесс повышения частоты. Обычная кремниевая камера фиксирует только интенсивность видимого спекла, которое само по себе выглядит бессмысленным. Однако из-за богатой и сложной структуры рассеяния оно скрыто несёт достаточную информацию о яркости и фазе исходной сцены, чтобы затем её можно было декодировать.

Декодирование с помощью нейросети

Сложная часть — превратить записанные спекл-образцы обратно в полезное изображение сцены. Нет простой формулы, связывающей заспекленное видимое изображение с исходным инфракрасным полем. Вместо этого команда обучает глубокую нейросеть, названную S-ULRnet, находить эту связь на примерах. Они подают в сеть множество пар — известных инфракрасных шаблонов и соответствующих им повышенных по частоте спекл-изображений. Со временем сеть учится восстанавливать и яркость, и фазу по одному снимку. Авторы также показывают, что путём настройки степени перемешивания стекла — по сути, увеличивая «энтропию» или информационное содержание спекла — можно значительно повысить точность реконструкции.

Чёткие фильмы из слабых инфракрасных сигналов

После обучения система демонстрирует впечатляющие результаты. Она восстанавливает детализированные 8-битные изображения в градациях серого как яркости, так и фазы с видео-частотой 25 кадров в секунду, причём для каждого кадра требуется лишь одна экспозиция камеры. Установка способна регистрировать чрезвычайно слабую инфракрасную мощность — порядка 0,2 нановатта на квадратный микрометр — что примерно в тысячу раз чувствительнее, чем многие обычные методы повышения частоты. Команда демонстрирует видеопоток в реальном времени естественных сцен, движущихся цифровых последовательностей и даже дорожных знаков с ограничением скорости, которые затем точно классифицируются отдельной сетью распознавания. Это показывает, как система может быть интегрирована в практические задачи, например для автономного вождения или интеллектуального наблюдения.

Новый путь к интеллектуальному инфракрасному зрению

Проще говоря, исследователи создали умный переводчик, который превращает трудно обнаружимый инфракрасный свет в информационно насыщенные видимые паттерны, а затем позволяет ИИ прочитать эти паттерны и восстановить, как выглядела инфракрасная сцена. Их метод быстр, высокочувствителен и использует относительно простое оборудование, что делает его привлекательным для приложений от медицинской диагностики до экологического мониторинга. Поскольку используемые светящиеся материалы реагируют на разные инфракрасные длины волн, ту же концепцию можно расширить на несколько диапазонов и более продвинутые режимы визуализации. В результате работа указывает на будущее, где камеры будут видеть тепло и структуру с выдающейся детализацией, используя доступные компоненты и интеллектуальное декодирование.

Цитирование: Zhu, Sk., Pan, T., Tang, Cx. et al. Upconversion optical entropy encoding for infrared complex-amplitude imaging. Light Sci Appl 15, 158 (2026). https://doi.org/10.1038/s41377-026-02215-7

Ключевые слова: инфракрасная визуализация, переобразование вверх, спекл-кодирование, сенсинг с нейросетями, коротковолновое инфракрасное