מודל היברידי לגילוי זיופים בתמונות באמצעות למידה עמוקה בשילוב שיטות בלוקים ונקודות מפתח

מדוע שינויים מוסתרים בתמונות חשובים

תמונות מעצבות את מה שאנו מאמינים לגבי העולם — מהתקשורת והפוליטיקה ועד הוכחות רפואיות והחלטות בבית המשפט. עם זאת, כלי עריכה מודרניים יכולים לשנות תמונה באופן משכנע עד שגם עין מיומנת עשויה שלא להבחין. המאמר מציג שיטה חדשה, בשם HDBK, שמאתרת סוג נפוץ של מרמה הידוע כהעתקה-הזזה (copy–move forgery) — כאשר חלק מהתמונה מועתק ומודבק במקום אחר באותה תמונה כדי להסתיר או לשכפל חפצים. המטרה היא לספק לכלי לחוקרים שהוא גם מדויק וגם מהיר דיו כדי להיות שימושי בעבודת זיהוי פלילי מעשית.

בעיה מתרחבת של אמון בתמונות דיגיטליות

בכל שנה נלקחות ומשותפות מיליארדי תמונות בטלפונים, ברשתות החברתיות ובמערכות מקצועיות. באותו הזמן, אפליקציות עריכה פשוטות לשימוש מאפשרות כמעט לכל אחד להסיר אנשים מהסצנה, לשכפל חפצים או לשנות בעדינות פרטים חשובים. בהעתקה-הזזה, אדם חשוד עשוי לכסות ראיות על ידי העתקת קלף נקי של כביש מעל סימני פאניקה, או לשכפל קהל כדי להגדיל את מראה האירוע. מכיוון שהאזורים המועתקים נלקחים מאותה תמונה, הם תואמים באופן טבעי את התאורה, הצבע והמרקם שלה, מה שהופך אותם לקשים במיוחד לזיהוי בעין או על ידי בדיקות תוכנה פשוטות.

כלים ישנים ונקודות תורפה שלהם

שיטות גילוי קיימות מחפשות רמזים בדרכים שונות. שיטות מבוססות-בלוקים מחלקות את התמונה לפאטצ׳ים קטנים ומשוות ביניהם כדי למצוא אזורים דומים חשודים. זה יכול לעבוד, אך בדיקה של כל זוגות הפאטצ׳ים אפשריים איטית ומתמודדת קשה כאשר המזייפים מסובבים או משנים את גודל החלקים המועתקים, או מטשטשים ומדחסים את התמונה לאחר מכן. שיטות מבוססות-נקודות מפתח מחפשות במקום זאת נקודות מובחנות — כמו פינות או נקודות מרקם — ומשוות ביניהן, מה שמהיר וסובלני יותר לשינויים גיאומטריים. עם זאת, הן נכשלות לעתים באזורים חלקים או זעירים שמכילים מעט נקודות מובחנות. למידה עמוקה, שבה רשתות נוירונים לומדות תכונות מהנתונים עצמם, יכולה לזהות זיופים ברמת התמונה כולה וברמת הפיקסל, אך בדרך כלל דורשת מערכי נתונים גדולים ומסומנים בקפידה שייצורם יקר עבור עבודת זיהוי פלילי.

אסטרטגיה היברידית בשלוש שלבים

המחברים מציעים את HDBK, מערכת היברידית שממזגת את חוזקות הלמידה העמוקה, ניתוח בלוקים והתאמת נקודות מפתח תוך צמצום החולשות של כל שיטה בנפרד. בשלב הראשון משלבים שלוש רשתות נוירונים ידועות — VGG16, MobileNet ו-EfficientNetB0 — במודל משולש-סניפים אחד. מאומנת על מועמד של תמונות אמת וזויפוּת, האנסמבל מחליט במהירות האם תמונה כנראה מזויפת ומפיק מפת חום: שכבת צבע המדגישה את האזורים שהרשת רואה כחשודים. במקום להסתמך על מסכות שצוירו ידנית במהלך האימון, המערכת לומדת מתווית ברמת התמונה בלבד, ואז משתמשת במפות תכונה פנימיות כדי לאתר אזורים שלדעתה עברו שינוי.

התמקדות כדי לזקק את המזויף

כאשר מפת החום מבודדת אזור חשוד, HDBK מצמצם את החיפוש. נבחר בלוק סביב האזור שזוהה כמועמד לזיוף, נפסל מהתמונה ומופעל חיפוש חכם מבוסס-בלוקים כדי למצוא מאיפה התוכן הועתק. במקום להשוות באופן חיפושי כל בלוק אפשרי, השיטה משתמשת באלגוריתם גנטי — טכניקת אופטימיזציה בהשראת אבולוציה — כדי לחקור רק את מיקומי הגדלים והגדרות הבלוקים המבטיחים ביותר. איכות כל מועמד נמדדת לפי כמות נקודות התכונה התואמות שהוא חולק עם הבלוק החשוד, תוך שימוש בשלושה גלאי נקודות מפתח (SIFT, SURF ו-FAST) בשילוב. לאחר מציאת ההתאמה הטובה ביותר, המערכת מקשרת נקודות מפתח תואמות ומציירת פוליגון הדוק סביב אזור המקור וההדבקה, ומלטשת את הצורות באמצעות מסנני מורפולוגיה כדי לייצר מסכת בינארית נקייה של האזור המזויף.

מהירות וביצועים

כדי לבחון את HDBK השתמשו המחברים במאגר CoMoFoD, אוסף נפוץ של זיופי copy–move הכולל מקרים מאתגרים: אזורים מועתקים קטנים וחלקים, סיבובים, שינויי קנה מידה, טשטוש, הוספת רעש, שינויים בבהירות ודחיסה חזקה מסוג JPEG. ברמת התמונה, רשת ההיברידית סיווגה נכונה תמונות מזויפות מול אותנטיות בכ־99% דיוק, והביאה תוצאה טובה יותר ממספר מודלים מודרניים נוספים. ברמת הפיקסל, שבה כל פיקסל מסווג כנכון או מזויף, HDBK השיגה דיוק כולל גבוה וחפיפה חזקה עם מסכות ה-ground-truth, תוך שמירה על שיעור זיהוי שווא נמוך מאוד. גם בתנאים קשים כגון טשטוש חזק, רעש ודחיסה, המערכת שמרה על ביצועים חזקים, וגילתה הן את המיקום והן את הצורה של האזורים המזוייפים.

מה זה אומר לאמון היומיומי בתמונות

באופן פשוט, מחקר זה מציע חוקר חכם יותר לתמונות דיגיטליות. על ידי שימוש ברשתות עמוקות כדי להדגיש בקירוב היכן משהו נראה חשוד, ולאחר מכן שימוש בחיפוש בלוקים מותאם ובחיבור נקודות מפתח כדי לעקוב בדיוק מה הועתק ומאיפה, HDBK יכול לגלות באופן אמין עריכות נסתרות שעשויות להשפיע על החלטות משפטיות, כתבות חדשות או אבחנות רפואיות. בעוד זיופים קטנטנים במיוחד או חסרי מרקם עדיין מהווים אתגר, ויש צורך בעבודה נוספת להרחבת השיטה מעבר להעתקה-הזזה לסוגי זיוף אחרים, הגישה ההיברידית הזו מסמנת צעד חשוב בהחזרת האמון במה שאנו רואים על המסכים שלנו.

ציטוט: Mehrjardi, F.Z., Zarchi, M.S. A hybrid model for image forgery detection using deep learning with block and keypoint methods. Sci Rep 16, 11169 (2026). https://doi.org/10.1038/s41598-026-41473-8

מילות מפתח: גילוי זיוף בתמונות, העתקה-הזזה (copy-move), למידה עמוקה, זיהוי פלילי דיגיטלי, אותנטיות תמונה