Легкая гибридная сеть улучшения восприятия для сверхвысокого разрешения инфракрасных изображений

Более четкое «тепловидение» для повседневных технологий

Инфракрасные камеры позволяют «видеть» тепло в темноте, сквозь туман или внутри машин, но получаемые ими изображения часто бывают размытыми и бедными на детали. В этой статье представлен новый способ повышения четкости таких термальных снимков с помощью искусственного интеллекта, чтобы системы видеонаблюдения, медицинские сканеры и промышленные инспекционные устройства могли предоставлять более ясную и надежную информацию без необходимости установки более громоздкого или дорогого оборудования.

Почему инфракрасные изображения трудно сделать четкими

В отличие от камер смартфонов, инфракрасные датчики фиксируют невидимое тепловое излучение, а не видимый свет. Это делает их незаменимыми в охране, обороне, медицине и мониторинге оборудования: они могут обнаруживать людей ночью, выявлять воспаления или показывать перегретые узлы. Однако инфракрасные сенсоры обычно имеют низкое разрешение, потому что высококлассные детекторы стоят дорого и требуют много энергии. Программные методы, называемые суперразрешением, пытаются преобразовать грубое, низкоразрешающее изображение в более четкое. Традиционные сверточные нейросети хорошо улавливают локальные паттерны, такие как мелкие края, но им трудно понимать взаимосвязи между удалёнными участками изображения. Более новые трансформерные сети могут охватывать более широкий контекст, но они тяжелы, медлительны и склонны терять тонкие детали вроде тонких линий и текстур — именно те признаки, которые важны для обнаружения мелких объектов на инфракрасных кадрах.

Смешение двух способов «видеть»

Авторы предлагают новую модель — Hybrid Perception Enhancement Network (HPEN), разработанную специально для баланса между детальностью и эффективностью в задачах обработки инфракрасных изображений. Ее центральный строительный блок, Hybrid Perception Enhancement Block, объединяет три идеи в последовательности. Во-первых, этап «агрегации токенов» группирует похожие патчи по всему изображению, позволяя сети рассуждать о сцене на глобальном уровне, словно предварительно объединяя связанные области перед интерпретацией. Во-вторых, этап «многошкального признакового представления» использует параллельные потоки обработки, чтобы одновременно анализировать мелкие структуры и более крупные окрестности — это помогает сети сохранять информацию о краях, текстурах и общих формах. Наконец, простой фильтр 3×3 уточняет и очищает признаки, предотвращая сглаживающие побочные эффекты, которые могут вносить крупные глобальные операции.

Изнутри: новый движок повышения четкости

Взгляд на полную систему HPEN показывает, что процесс начинается с легкой предобработки низкоразрешающего инфракрасного изображения для извлечения базовых паттернов. Затем эти данные проходят через серию гибридных блоков, каждый из которых углубляет понимание сцены, сочетая дальнодействующие связи с мелкомасштабными деталями. Сокращённое (shortcut) соединение позволяет исходной грубой информации обходить глубокие слои, чтобы сеть могла сосредоточиться на восстановлении недостающего высокочастотного содержимого — таких элементов, как резкие края и мелкие горячие пятна. На финальном этапе компактный модуль пересчёта масштаба повышает разрешение признаков до целевого уровня, преобразуя их в уточнённое инфракрасное изображение того же размера, что и высококачественный эталон. Вся архитектура намеренно легкая: число операций и объем памяти минимизированы так, чтобы обеспечить практическое развёртывание на распространённых графических процессорах.

Насколько метод хорош на практике

Для проверки HPEN авторы обучали и оценивали модель на нескольких публичных инфракрасных датасетах, включающих городские сцены, растительность, транспорт, пешеходов и ночные условия. Они сравнили её со многими современными «легковесными» методами суперразрешения, стремящимися к сочетанию точности и эффективности. HPEN постоянно сопоставляла или слегка превосходила конкурентов по стандартным метрикам качества, отражающим близость улучшенного изображения к высокоразрешающему эталону. Особенно хорошо модель показала себя в сложной задаче масштабирования в 4 раза, где преобразование очень маленького изображения в значительно большее часто проявляет артефакты. При этом HPEN потребляла значительно меньше вычислений, намного меньше видеопамяти и работала быстрее по сравнению с сильными трансформерными конкурентами. Дополнительные тесты, имитирующие восприятие человеком, показали, что результаты HPEN визуально ближе к реальным высокоразрешающим инфракрасным изображениям: меньше выцветших краёв и лучше сохранённые текстуры.

Что это означает для реального применения

Для неспециалиста основная мысль такова: HPEN предлагает более умный способ «поднять зум» инфракрасных камер без замены оборудования. Тщательно сочетая глобальный контекст (понимание всей сцены) и локальные детали (сохранение тонких краёв и текстур) в эффективном решении, метод даёт более чёткие и информативные инфракрасные изображения при контролируемых вычислительных затратах. Это может помочь системам наблюдения яснее видеть людей или автомобили в темноте, позволить инспекторам обнаруживать тонкие трещины или горячие точки на оборудовании и дать врачам более чёткие тепловые паттерны при неинвазивном скрининге — и всё это с использованием существующих датчиков, которые внезапно «видят» больше, чем прежде.

Цитирование: Liu, Z., Tian, J., Liu, C. et al. A lightweight hybrid perception enhancement network for infrared image super-resolution. Sci Rep 16, 6572 (2026). https://doi.org/10.1038/s41598-026-37763-w

Ключевые слова: инфракрасная съемка, суперразрешение, глубокое обучение, улучшение изображения, компьютерное зрение