Гибридная модель для обнаружения фальсификаций изображений с использованием глубокого обучения и методов блоков и ключевых точек

Почему скрытые изменения на фотографиях имеют значение

Фотографии формируют наши представления о мире — от новостей и политики до медицинских доказательств и решений суда. Тем не менее современные инструменты редактирования могут изменить изображение настолько правдоподобно, что заметить подделку бывает трудно даже специалистам. В этой статье представлен новый метод, названный HDBK, который обнаруживает распространённый тип подделки — copy–move (копирование и вставка части изображения в другое место того же кадра), когда цель — скрыть или дублировать объекты. Задача — дать следователям инструмент, который одновременно точен и достаточно быстро работает для практического использования в криминалистике.

Растущая проблема доверия к цифровым фотографиям

Ежегодно делаются и распространяются миллиарды фотографий через телефоны, социальные сети и профессиональные системы. Одновременно простые в использовании приложения для редактирования позволяют почти каждому убрать людей с кадра, клонировать объекты или тонко изменить важные детали. При copy–move фальсификации злоумышленник может, например, скрыть следы на дороге, перекрыв их чистым участком покрытия, или умножить толпу, чтобы событие выглядело крупнее. Поскольку скопированные регионы происходят из той же самой картинки, они естественно совпадают по освещению, цвету и текстуре, что делает их особенно трудными для обнаружения не только глазу, но и простыми программными проверками.

Старые инструменты и их слабые места

Существующие методы обнаружения ищут улики разными способами. Блочные методы разбивают изображение на множество маленьких фрагментов и сравнивают их, чтобы найти подозрительно похожие области. Это работает, но проверка каждой возможной пары фрагментов медленна и слабо справляется, когда злоумышленник поворачивает или масштабирует скопированную часть, размывает её или сохраняет в сжатом виде. Методы на основе ключевых точек ищут отличительные точки — углы или текстурные участки — и сравнивают их; это быстрее и устойчивее к геометрическим преобразованиям. Однако они часто терпят неудачу на гладких или крошечных подделках, где мало выраженных ключевых точек. Глубокое обучение, в котором нейронные сети сами извлекают признаки из данных, может выявлять подделки как на уровне всего изображения, так и на пиксельном уровне, но обычно требует больших аккуратно размеченных наборов данных, что дорого и сложно для судебной практики.

Трёхэтапная гибридная стратегия

Авторы предлагают HDBK — гибридную систему, объединяющую сильные стороны глубоких сетей, блочного анализа и сопоставления ключевых точек, одновременно уменьшая их отдельные недостатки. На первом этапе три хорошо известных нейронных сети — VGG16, MobileNet и EfficientNetB0 — объединяются в единую модель с тремя ветвями. Обученная на эталонном наборе подлинных и поддельных изображений, эта ансамблевая модель быстро принимает решение о вероятной подделке и генерирует тепловую карту: цветовой наложенный слой, выделяющий области, которые сеть считает подозрительными. Вместо опоры на вручную нарисованные маски при обучении система учится только по меткам на уровне изображения, а затем использует внутренние карты признаков для локализации вероятно изменённых областей.

Уточнение для точного определения подделки

После того как тепловая карта выделяет подозрительную область, HDBK сужает поиск. Выбирается блок вокруг предполагаемой подделки, он удаляется из изображения, и запускается более интеллектуальный блочный поиск, чтобы найти, откуда было скопировано содержимое. Вместо исчерпывающего сравнения всех возможных блоков метод использует генетический алгоритм — оптимизационный метод, вдохновлённый эволюцией — чтобы исследовать только наиболее перспективные позиции и размеры блоков. Качество каждой кандидатной области оценивают по числу совпадающих точек признаков с подозрительным блоком, используя комбинацию трёх детекторов ключевых точек (SIFT, SURF и FAST). После нахождения лучшего соответствия система связывает соответствующие ключевые точки и рисует плотный многоугольник вокруг исходной и вставленной областей, уточняя контуры морфологическими фильтрами для получения чистой бинарной маски подделки.

Насколько хорошо работает метод

Для тестирования HDBK авторы использовали набор данных CoMoFoD, широко применяемую коллекцию фальсификаций copy–move, включающую сложные случаи: маленькие и гладкие скопированные области, повороты, масштабирование, размытие, добавленный шум, изменения яркости и агрессивную JPEG-компрессию. На уровне изображения гибридная глубокая сеть правильно классифицировала поддельные и подлинные изображения примерно с 99% точностью, превосходя несколько современных моделей. На пиксельном уровне, где каждый пиксель оценивается как подлинный или поддельный, HDBK показал высокую общую точность и сильное совпадение с эталонными масками при очень низком уровне ложных тревог. Даже в тяжёлых условиях — сильное размытие, шум и сжатие — система сохраняла устойчивую производительность, выявляя как расположение, так и форму поддельных областей.

Что это означает для повседневного доверия к фотографиям

Проще говоря, это исследование предлагает более умного детектива для цифровых изображений. Сначала глубокие сети дают грубую подсказку о том, где что-то выглядит подозрительно, а затем оптимизированный блочный поиск и сопоставление ключевых точек точно отслеживают, что и откуда было скопировано. HDBK надежно обнаруживает скрытые правки, которые могут повлиять на судебные решения, новости или медицинские диагнозы. Хотя крайне мелкие или лишённые текстуры подделки по‑прежнему представляют трудность, и требуется дополнительная работа для расширения метода на другие виды подделок помимо copy–move, этот гибридный подход представляет важный шаг к восстановлению доверия к изображению на экранах.

Цитирование: Mehrjardi, F.Z., Zarchi, M.S. A hybrid model for image forgery detection using deep learning with block and keypoint methods. Sci Rep 16, 11169 (2026). https://doi.org/10.1038/s41598-026-41473-8

Ключевые слова: обнаружение фальсификаций изображений, копирование-перемещение (copy-move), глубокое обучение, цифровая криминалистика, аутентичность изображения