Сеть пространственно-частотного дополнительного слияния для удаления тумана с использованием многомасштабных и модулей внимания

Почему важно очищать затуманенные фото

Кто пытался фотографировать туманный городской горизонт или задымленную автомагистраль, знает, как туман вымывает цвета и размывает детали. За пределами праздничных снимков потеря четкости влияет на системы безопасности в автомобилях, экологический мониторинг и дистанционное зондирование с самолетов и спутников. В этой работе предложен новый метод цифровой очистки тумана с одиночного изображения, направленный на восстановление резких, естественно выглядящих сцен, которые полезны как людям, так и автоматическим системам.

От простых трюков к обучению на данных

Ранние методы удаления тумана опирались на хитроумные ручные правила, например, предположение, что в сцене есть участки с очень темными пикселями, или что цвета подчиняются определенным закономерностям. Такие подходы годятся в простых случаях, но теряют эффективность при сложном освещении, погоде или структуре сцены. С появлением глубокого обучения исследователи стали обучать нейросети различать чистые и затуменные изображения, позволяя им восстанавливать чистую версию по примерам. Однако большинство методов на основе обучения работают только в обычном пространстве изображения, корректируя пиксели и локальные паттерны без полного использования того, как туман изменяет изображение при представлении его как смеси низких и высоких визуальных частот.

Рассматривать туман двумя разными способами

Авторы отмечают, что туман не просто равномерно затемняет изображение. При преобразовании в частотную область, которая отделяет широкие гладкие зоны от тонких текстур и краев, затумленные фотографии демонстрируют явную потерю средних и высоких частот и накопление энергии в низких частотах. Проще говоря, тонкие детали — листья, кромки зданий — блекнут, в то время как общая яркость и цветовой оттенок становятся доминирующими. Стандартные методы, работающие только с окрестностями пикселей, испытывают затруднения при прямой коррекции этого частотного дисбаланса. В статье утверждается, что лучшая система удаления тумана должна одновременно работать в обоих представлениях: в привычном пространстве пикселей и в частотном представлении, подчеркивающем утерянные детали.

Сеть, объединяющая формы и текстуры

Для реализации этой идеи авторы разработали SFC-Net — нейросеть, которая комбинирует пространственную и частотную информацию на каждом значимом этапе. Ее ключевой блок улучшения признаков, называемый многомасштабным пространственно-частотным модулем, разделяет признаки на несколько ветвей. Одна ветвь фокусируется на широких паттернах с использованием усредненной статистики, другая подчеркивает сильные отклики с помощью максимальной операции, а третья анализирует изображение в частотной области, чтобы захватить текстуры и структуру, которые легко ослабляются туманом. Эти ветви затем объединяются, позволяя сети совместно решать, что должно быть ярким, что — резким, и где нужно восстановить тонкие детали, что приводит к более четким и реалистичным результатам удаления тумана.

Направленное внимание на наиболее полезные подсказки

Кроме извлечения признаков, сеть использует модуль пространственно-частотного дополнительного внимания, чтобы решить, какие области и какие типы информации заслуживают наибольшего внимания. Этот модуль сначала строит отдельные карты внимания по местоположению в изображении и по каналам, затем пропускает улучшенные признаки через частотное преобразование, что позволяет системе выделять частотные компоненты, важные для удаления тумана, ослабляя менее полезные. Адаптивный элементйт (gate) балансирует эти вклады, чтобы сеть могла по-разному обрабатывать различные сцены — например, придавать больше веса тонким текстурам в лиственном лесу, чем в гладком небе. Дополнительные остаточные блоки и аккуратная голова для повышения разрешения помогают сохранить детали и избежать артефактов при реконструкции окончательного очищенного изображения.

Насколько метод работает на практике

Исследователи обучали и проверяли SFC-Net на широко используемых синтетических и реальных наборах данных затуманенных изображений. Они оценивали качество изображений стандартными метриками отношения сигнал/шум, структурного сходства и безреферентной оценкой, которая оценивает естественность изображения без эталонного чистого образца. На тестовых наборах для внутренних и внешних сцен SFC-Net соответствует или превосходит современные продвинутые методы удаления тумана, особенно улучшая резкость и достоверность цвета в уличных съемках. Он также показывает сильные результаты на реальных фотографиях и на независимых бенчмарках, моделирующих натуральный туман, а абляционные исследования демонстрируют, что каждый из новых модулей вносит значительный вклад в итоговую производительность, а не просто увеличивает размер модели.

Более четкие виды через более умное слияние

Проще говоря, эта работа показывает, что очистка затумненных изображений выигрывает от рассмотрения их двумя дополнительными способами: как обычные фотографии и как паттерны гладких областей и тонких деталей. Построив сеть, которая объединяет эти представления и учится, где стоит сосредоточить усилия, авторы добиваются более четких, естественно выглядящих результатов по сравнению со многими существующими системами. Подход может помочь повысить видимость для автономного вождения, видеонаблюдения и экологического мониторинга, предлагая более ясные цифровые окна на сцены, которые в противном случае выглядели бы блеклыми и вымытыми туманом.

Цитирование: Yan, C., Liu, G. Spatial-frequency complementary fusion network for dehazing with multi-scale and attention modules. Sci Rep 16, 16412 (2026). https://doi.org/10.1038/s41598-026-47027-2

Ключевые слова: удаление тумана из изображений, глубокое обучение, компьютерное зрение, улучшение изображений, частотная область