Рамочная модель слияния изображений на основе дискретных полосово-ограниченных шерлетов

Почему важны лучшие фотографии

Кто хоть раз пытался сфотографировать закат или ночной городской пейзаж, знает это раздражение: если небо выглядит правильно, здания слишком тёмные; если здания чёткие, небо превращается в белую массу. В этой работе рассматривается именно эта повседневная задача. Авторы предлагают новый способ объединить несколько снимков одной и той же сцены, сделанных с разной экспозицией, в единое изображение, сохраняющее детали в тенях и светах, без опирания на непрозрачные приёмы глубокого обучения.

Как несколько кадров превращаются в один ясный вид

Современные сенсоры камер не в силах сравниться с человеческим глазом, который одновременно легко различает детали и в ярких облаках, и в тусклых улицах. Фотографы часто обходят это, делая серию кадров одной сцены: недоэкспонированный для защиты ярких областей, нормальный и переэкспонированный, чтобы открыть тёмные зоны. Цель слияния изображений с разной экспозицией — объединить эти снимки в одну картину, которая выглядит естественно и детализированно повсюду. Ранние методы либо смешивали пиксели напрямую, либо использовали простые приёмы для предотвращения «призраков», но нередко давали тусклый результат или размывали тонкую текстуру.

Прозрачная альтернатива «чёрным ящикам» обучения

В последнее время задачу перехватили системы глубокого обучения, которые обучаются смешивать изображения на больших наборах данных. Эти системы могут давать впечатляющие изображения, но их дорого обучать, они сильно зависят от использованных данных и трудно интерпретируются. В отличие от них, авторы развивают полностью прозрачный, не требующий обучения подход, основанный на понятной математике. Вместо того чтобы учиться сливать изображения по примерам, их метод следует точным правилам, которые можно проверить, воспроизвести и настроить — что важно в научных, медицинских или ответственных прикладных задачах, где требуются доверие и отслеживаемость.

Использование «умных» направлений для отслеживания деталей

Сердцем нового подхода является преобразование под названием дискретное полосово-ограниченное шерлет-преобразование. Проще говоря, этот инструмент разбивает каждое входное изображение на слои, фиксирующие структуры разных размеров и направлений — такие как края, линии и кривые. В отличие от старых техник, которые обычно одинаково обрабатывают детали во всех направлениях, это преобразование особенно хорошо следует за наклонными и изогнутыми элементами, такими как линии крыш, силуэты и рябь на воде. Каждое исходное изображение сначала переводится в низкочастотные слои, содержащие общую яркость и форму сцены, и в высокочастотные слои, несущие тонкие края и текстуры. Затем метод сливает эти слои по тщательно выбранным правилам и восстанавливает итоговое изображение.

Выбор, что сохранить из каждой экспозиции

Чтобы решить, какие детали из каждой экспозиции должны попасть в итоговую картинку, авторы проверяют две простые стратегии. Для медленно меняющегося фонового содержимого они усредняют низкочастотные слои, чтобы общая яркость и структура сцены выглядели естественно. Для тонких деталей они пробуют две конкурирующие идеи. Одно правило отдаёт предпочтение областям, где вариация в небольшом окружении последовательно сильна — это помогает сохранить стабильные текстуры и противостоять шуму. Другое правило просто выбирает в каждой точке наиболее заметное локальное изменение относительно окружения, что может усиливать резкость краёв, но быть более чувствительным к шуму. Эксперименты на стандартных тестовых сценах, таких как виды канала и замаскированный уличный артист, показывают, что оба правила ведут себя похоже, когда их комбинируют с мощными направленными слоями шерлет-преобразования.

Преимущества в числах и на реальных сценах

Команда сравнивает свой метод с несколькими широко используемыми инструментами декомпозиции изображений, включая классические вейвлеты и более продвинутые схемы на основе контуров и шерлетов. С применением общих метрик качества, оценивающих резкость, информационное содержание и структурное сходство, их подход последовательно даёт изображения с более чёткими краями и более богатой детализацией, чем эти старые методы. Слитые фотографии демонстрируют читаемую текстуру в лодках, зданиях и небе — то, что в исходных экспозициях было потеряно из‑за бликов или скрыто в тенях. Хотя новый метод работает медленнее некоторых альтернатив из‑за вычислений в частотной области с множеством направленных фильтров, он остаётся практичным для пакетной обработки, где важнее визуальное качество и интерпретируемость, чем скорость.

Что это значит для более чётких изображений

Проще говоря, эта работа показывает, что тщательно спроектированный математический инструмент может соперничать и даже превосходить как традиционные, так и обучаемые подходы к объединению снимков с разной экспозицией, без необходимости в обучающих данных. Сосредоточив внимание на том, как края и текстуры проявляются на разных масштабах и направлениях, метод может извлечь лучшие видимые части каждого входного кадра и переплести их в одно сбалансированное изображение. Для фотографов, инженеров и учёных, которым нужны надёжные, воспроизводимые способы улучшения изображений, это даёт ясный, хорошо объяснённый путь к кадрам с высоким динамическим диапазоном, приближающимся к тому, что естественно видит человеческий глаз.

Цитирование: Ji, W., Chen, X. A model-based image fusion framework using discrete band-limited shearlets. Sci Rep 16, 15204 (2026). https://doi.org/10.1038/s41598-025-34942-z

Ключевые слова: слияние изображений с разной экспозицией, изображения с высоким динамическим диапазоном, шерлет-преобразование, улучшение деталей изображения, вычислительная фотография