Hybrydowy model wykrywania fałszerstw obrazów z użyciem głębokiego uczenia oraz metod blokowych i punktów kluczowych

Dlaczego ukryte zmiany na zdjęciach mają znaczenie

Zdjęcia kształtują nasze przekonania o świecie — od informacji w mediach i polityce po dowody medyczne czy decyzje sądowe. Nowoczesne narzędzia edycyjne mogą jednak zmieniać obraz tak przekonująco, że nawet wytrenowane oko tego nie dostrzeże. W artykule przedstawiono nową metodę nazwaną HDBK, która wykrywa powszechny rodzaj manipulacji zwany kopiowaniem i wklejaniem (copy–move forgery) — gdy część obrazu jest skopiowana i wstawiona w innym miejscu tej samej fotografii, aby ukryć lub zdublować obiekty. Celem jest dostarczenie śledczym narzędzia zarówno dokładnego, jak i na tyle szybkiego, by było użyteczne w praktyce forensic.

Rosnący problem zaufania do cyfrowych zdjęć

Co roku powstają i są udostępniane miliardy zdjęć przez telefony, media społecznościowe i systemy profesjonalne. Równocześnie łatwe w użyciu aplikacje do edycji pozwalają niemal każdemu usunąć osoby ze sceny, sklonować obiekty lub subtelnie zmienić istotne szczegóły. W manipulacjach copy–move podejrzana osoba może przykryć ślady, kopiując czysty fragment drogi nad śladami hamowania albo powielić tłum, by wydarzenie wydawało się większe. Ponieważ skopiowane obszary pochodzą z tej samej fotografii, naturalnie pasują pod względem oświetlenia, koloru i tekstury, co utrudnia ich wykrycie gołym okiem lub prostymi kontrolami programowymi.

Stare narzędzia i ich słabe punkty

Obecne metody wykrywania szukają śladów na różne sposoby. Metody blokowe dzielą obraz na wiele małych fragmentów i porównują je, by znaleźć podejrzanie podobne rejony. To działa, ale porównywanie każdej pary bloków jest powolne i ma problemy, gdy fałszerze obracają lub skalują kopię, albo stosują rozmycie i kompresję. Metody oparte na punktach kluczowych zamiast tego wyszukują wyróżniające się punkty — jak narożniki czy teksturowane plamy — i porównują je; jest to szybsze i bardziej odporne na zmiany geometryczne. Jednak zawodzą często na gładkich lub bardzo małych obszarach, które zawierają niewiele punktów charakterystycznych. Głębokie uczenie, gdzie sieci neuronowe same wydobywają cechy z danych, potrafi wykrywać manipulacje na poziomie całego obrazu i pojedynczych pikseli, lecz zwykle wymaga dużych, starannie oznaczonych zbiorów danych, których przygotowanie w kontekście śledczym jest kosztowne.

Trzystopniowa strategia hybrydowa

Autorzy proponują HDBK — system hybrydowy łączący zalety głębokiego uczenia, analizy blokowej i dopasowania punktów kluczowych, jednocześnie ograniczając ich słabości. W pierwszym kroku trzy znane sieci neuronowe — VGG16, MobileNet i EfficientNetB0 — łączone są w jeden model z trzema gałęziami. Trenowany na zbiorze wzorcowym autentycznych i sfałszowanych obrazów, ten zestaw szybko decyduje, czy obraz prawdopodobnie jest zmanipulowany, i generuje mapę ciepła: kolorową nakładkę wskazującą rejony uważane przez sieć za podejrzane. Zamiast polegać na ręcznie rysowanych maskach podczas treningu, system uczy się wyłącznie na etykietach na poziomie obrazów, a następnie wykorzystuje wewnętrzne mapy cech do lokalizowania prawdopodobnie zmienionych obszarów.

Zbliżenie, aby dokładnie wskazać fałszerstwo

Gdy mapa ciepła wyodrębni podejrzany obszar, HDBK zawęża poszukiwania. Wokół prawdopodobnie sfałszowanego fragmentu wybierany jest blok, który jest usuwany z obrazu, a następnie uruchamiane jest inteligentniejsze przeszukiwanie blokowe, aby znaleźć źródło skopiowanej zawartości. Zamiast wyczerpująco porównywać wszystkie możliwe bloki, metoda korzysta z algorytmu genetycznego — techniki optymalizacyjnej inspirowanej ewolucją — by eksplorować tylko najbardziej obiecujące pozycje i rozmiary bloków. Jakość każdego kandydata oceniana jest na podstawie liczby pasujących punktów cech dzielonych z podejrzanym blokiem, przy użyciu kombinacji trzech detektorów punktów kluczowych (SIFT, SURF i FAST). Po znalezieniu najlepszego dopasowania system łączy odpowiadające punkty kluczowe i rysuje ścisły wielokąt wokół zarówno źródłowego, jak i wklejonego regionu, dopracowując kształty filtrami morfologicznymi, aby uzyskać czystą binarną maskę sfałszowanego obszaru.

Jak dobrze metoda działa

Do testów HDBK wykorzystano zbiór CoMoFoD, powszechnie stosowaną kolekcję fałszerstw copy–move obejmującą trudne przypadki: małe i gładkie skopiowane obszary, obroty, skalowanie, rozmycie, dodanie szumu, zmiany jasności oraz agresywną kompresję JPEG. Na poziomie obrazu hybrydowa sieć głęboka poprawnie klasyfikowała obrazy jako sfałszowane lub autentyczne z około 99% dokładnością, przewyższając kilka innych współczesnych modeli. Na poziomie piksela, gdzie każdy piksel oceniany jest jako prawdziwy lub zmanipulowany, HDBK osiągnął wysoką ogólną dokładność i silne pokrycie z masekami referencyjnymi, jednocześnie utrzymując bardzo niską liczbę fałszywych alarmów. Nawet w trudnych warunkach, takich jak silne rozmycie, szum czy kompresja, system zachował solidną wydajność, ujawniając zarówno lokalizację, jak i kształt sfałszowanych obszarów.

Co to oznacza dla zaufania do zdjęć na co dzień

Mówiąc prościej, badanie to oferuje sprytniejszego detektywa dla obrazów cyfrowych. Najpierw wykorzystując sieci głębokie do wstępnego wskazania miejsc, które wyglądają nieprawidłowo, a następnie stosując zoptymalizowane przeszukiwanie blokowe i dopasowanie punktów kluczowych, HDBK potrafi wiarygodnie ujawnić ukryte edycje, które mogą wpłynąć na decyzje prawne, relacje prasowe czy diagnozy medyczne. Choć bardzo drobne lub pozbawione faktury fałszerstwa nadal stanowią wyzwanie i potrzeba dalszych badań, by rozciągnąć metodę poza copy–move na inne rodzaje manipulacji, podejście hybrydowe jest ważnym krokiem w kierunku przywracania zaufania do tego, co widzimy na ekranach.

Cytowanie: Mehrjardi, F.Z., Zarchi, M.S. A hybrid model for image forgery detection using deep learning with block and keypoint methods. Sci Rep 16, 11169 (2026). https://doi.org/10.1038/s41598-026-41473-8

Słowa kluczowe: wykrywanie fałszerstw obrazów, manipulacja kopiuj-wklej, głębokie uczenie, informatyka śledcza cyfrowa, autentyczność obrazu