En hybridmodell för upptäckt av bildförfalskning med djupinlärning och block- samt nyckelpunktmetoder

Varför dolda ändringar i foton spelar roll

Fotografier formar vad vi tror om världen, från nyheter och politik till medicinska bevis och domstolsbeslut. Samtidigt kan moderna redigeringsverktyg förändra en bild så övertygande att även tränade ögon kan missa det. Denna artikel presenterar en ny metod, kallad HDBK, som upptäcker en vanlig typ av manipulation känd som copy–move-förfalskning—där en del av en bild kopieras och klistras in på en annan plats i samma bild för att dölja eller duplicera objekt. Målet är att ge utredare ett verktyg som både är noggrant och tillräckligt snabbt för att vara användbart i verklig rättsmedicinsk praktik.

En växande misstro mot digitala bilder

Varje år tas och delas miljarder foton via telefoner, sociala medier och professionella system. Samtidigt gör användarvänliga redigeringsappar att nästan vem som helst kan ta bort personer ur en scen, klona objekt eller subtilt förändra viktiga detaljer. Vid copy–move-förfalskning kan en illasinnad person till exempel dölja spår genom att kopiera en ren bit av en väg över bromsspår, eller duplicera en folkmassa för att få ett evenemang att se större ut. Eftersom dessa kopierade områden kommer från samma bild matchar de naturligt bildens ljus, färg och textur, vilket gör dem särskilt svåra att upptäcka för ögat eller med enkla programkontroller.

Gamla verktyg och deras svagheter

Existerande detektionsmetoder letar efter ledtrådar på olika sätt. Block-baserade metoder delar upp bilden i många små patchar och jämför dem för att hitta misstänkt lika regioner. Det kan fungera, men att kontrollera varje möjlig parning av patchar är långsamt och har svårt när förfalskare roterar eller skalear de kopierade delarna, eller när bilden suddas eller komprimeras i efterhand. Nyckelpunktsbaserade metoder söker istället efter distinkta punkter—som hörn eller texturerade fläckar—och jämför dessa, vilket är snabbare och mer tolerant mot geometriska förändringar. De misslyckas dock ofta vid släta eller mycket små förfalskade områden som innehåller få distinkta punkter. Djupinlärning, där neurala nätverk lär sig egna kännetecken från data, kan upptäcka förfalskningar både på helbilds- och pixelnivå, men kräver vanligtvis stora, noggrant märkta dataset som är kostsamma att skapa för forensiska ändamål.

En trestegs hybridstrategi

Författarna föreslår HDBK, ett hybridssystem som kombinerar styrkorna hos djupinlärning, blockanalys och nyckelpunktsmatchning samtidigt som det minskar deras individuella svagheter. I första steget kombineras tre välkända neurala nätverk—VGG16, MobileNet och EfficientNetB0—till en enda trefaldig grenkonstruktion. Tränad på en benchmark av äkta och förfalskade bilder avgör denna ensemble snabbt om en bild sannolikt är förfalskad och genererar en heatmap: en färgöverlappning som framhäver de regioner nätverket betraktar som misstänkta. Istället för att förlita sig på handritade maskar under träning lär sig systemet från bildnivåetiketter och använder sedan interna feature-maps för att lokalisera sannolika manipulerade områden.

Zooma in för att exakt identifiera förfalskningen

När heatmapen isolerar en misstänkt region smalnar HDBK in sökningen. Ett block runt det sannolika förfalskade området väljs, tas bort från bilden och en smartare block-baserad sökning startas för att hitta varifrån det innehållet kopierades. Istället för att uttömmande jämföra varje möjligt block använder metoden en genetisk algoritm—en optimeringsteknik inspirerad av evolution—för att utforska endast de mest lovande blockpositionerna och -storlekarna. Kvaliteten hos varje kandidat mäts efter hur många matchande feature-punkter den delar med det misstänkta blocket, med tre nyckelpunktsdetektorer (SIFT, SURF och FAST) i kombination. När bästa matchning hittats länkar systemet motsvarande nyckelpunkter och ritar en tajt polygon runt både käll- och inklistrade regioner, och förfinar formerna med morfologiska filter för att producera en ren binär mask av det manipulerade området.

Hur väl metoden fungerar

För att testa HDBK använde författarna CoMoFoD-datasetet, en ofta använd samling av copy–move-förfalskningar som innehåller utmanande fall: små och släta kopierade områden, rotationer, skalning, suddning, tillagd brus, ljusförändringar och aggressiv JPEG-kompression. På bildnivå klassificerade det hybrida djupa nätverket korrekt förfalskade kontra äkta bilder med cirka 99 % noggrannhet och överträffade flera andra moderna modeller. På pixelnivå, där varje pixel bedöms som äkta eller förfalskad, uppnådde HDBK hög total noggrannhet och en stark överlappning med sanningens maskar, samtidigt som antalet falsklarm hölls mycket lågt. Även under svåra förhållanden som kraftig suddning, brus och kompression bibehöll systemet robust prestanda och avslöjade både plats och form för de förfalskade regionerna.

Vad detta betyder för vardagligt förtroende för foton

Enkelt uttryckt erbjuder denna forskning en smartare detektiv för digitala bilder. Genom att först använda djupa nätverk för att grovt markera var något ser fel ut, och sedan använda optimerad block-sökning och nyckelpunktsmatchning för att spåra exakt vad som kopierats och varifrån, kan HDBK pålitligt avslöja dolda redigeringar som kan påverka rättsliga bedömningar, nyhetsrapportering eller medicinska diagnoser. Medan extremt små eller texturlösa förfalskningar fortfarande är en utmaning, och mer arbete krävs för att utvidga metoden bortom copy–move till andra typer av manipulation, utgör denna hybrida strategi ett viktigt steg mot att återställa förtroendet för det vi ser på våra skärmar.

Citering: Mehrjardi, F.Z., Zarchi, M.S. A hybrid model for image forgery detection using deep learning with block and keypoint methods. Sci Rep 16, 11169 (2026). https://doi.org/10.1038/s41598-026-41473-8

Nyckelord: upptäckt av bildförfalskning, copy-move-manipulation, djupinlärning, digital forensik, bildautenticitet