שחזור של סרטים ארכיוניים עם אזורים גדולים של נזק מבני

מדוע עדיין חשוב להציל סרטים ישנים

רבים מהסרטים וגלי החדשות שצילמו את המאה האחרונה שרדו כיום רק על גלילי סרט שבירים. הזמן, האבק, הקרנה חוזרת ואחסון גרוע גרמו לשריטות ולאיבוד חומר בתמונות, שמחקו פניהם של אנשים, חפצים ואפילו חלקים שלמים של סצנות. תיקון ידני של נזקים כאלה פריים אחר פריים הוא איטי וכמעט בלתי אפשרי מבחינת עלות. מאמר זה מציג שיטה חדשה מבוססת בינה מלאכותית שיכולה לזהות ולתקן באופן אוטומטי פגמים גדולים ולא סדירים בסרטים ארכיוניים, ומבטיחה הצלה מהירה ונאמנה יותר של היסטוריית תמונאות נעה.

מה מקשה כל כך על נזק לסרט

לא כל הפגמים בסרטים ישנים דומים. בעיות מסוימות—כגון רעש גרעיני, טשטוש כללי או צבע דהוי—משפיעות על כל התמונה וניתנות לטיפול באמצעות כלי ניקוי רחבים. הבעיות ההורסות ביותר, עם זאת, הן נזקים מבניים כמו שריטות אנכיות ארוכות או כתמי שחור-לבן גדולים. אלה הורסים תוכן תמונה במקום רק להחיש את איכותו. שיטות דיגיטליות מסורתיות מסתמכות לרוב על כללים מעשה ידי אדם או מטפלות בכל פריים בנפרד, מה שמטעה בין עצמים נעים לנזק או משאיר חורים גדולים שחלקם בלבד מתוקן. במקביל, מערכות "תיבת שחורה" אנד-טו-אנד שמנסות לנקות ולמלא הכל בצעד אחד עלולות לפספס אזורים פגומים או להמציא פרטים חדים אך לא מציאותיים.

להסתכל דרך הזמן כדי לאתר פגמים

התובנה המרכזית בעבודה החדשה היא להשתמש בזמן, לא רק בחלל. התוכן האמיתי של הסצנה משתנה בצורה חלקה מפריים לפריים, בעוד ששריטות וכתמים מופיעים במיקומים אקראיים ואינם עוקבים אחר הפעולה. הכותבים מתארים את ההבדל הזה על ידי הזנת שלושה פריימים סמוכים לרשת זיהוי שמחקה את האופן שבו צופה אנושי מהנהן לאחור וקדימה כדי לגלות אנומליות. תחילה מודול תשומת-לב על ערוצים משווה את התוכן הכולל של שלושת הפריימים ומדגיש אזורים שהתנהגותם לאורך זמן לא תואמת את שאר הסצנה. שלב זה נותן מושג גס היכן עלול להיות נזק. לאחר מכן מודול שני, שנקרא מודול תשומת-לב מקור-התייחסות, מתמקד בפרטים מקומיים, ומשתמש במידע מפריים סמוך יחסית נקי כדי לחדד את הקצוות והצורה של האזור הפגום. ביחד השלבים האלו מניבים מסכת דייקנית שמגבילה את הפגמים המבניים.

להדריך את המערכת עם דוגמאות אמיתיות מועטות

מכיוון שקיים מעט חומר ארכיוני באמת פגום עם תוויות אמת מושלמות והאצתם יקרה, הצוות משתמש באסטרטגיית אימון חכמה. ראשית הם יוצרים אוסף נתונים סינתטי גדול על ידי הצבת מסכות בלתי סדירות—המחשות שריטות וכתמים—על פריימים אמיתיים של סרט. זה מאפשר לגלאי ללמוד את הרעיון הבסיסי של נזק דליל וא-תיאומי בזמן. בשלב שני המודל מיודד עם סט קטן של רצפי נזק אמיתיים שהתוויות שלהם אינן מדויקות לחלוטין אך עדיין מועילות. על ידי שילוב פיקוח סינתטי אידיאלי עם הדרכה לא מושלמת מהעולם האמיתי, המערכת לומדת להעביר את מה שלמדה מסימולציות נקיות לחומר היסטורי מבולגן, בעוד שאיחוד תכונות ברב-קנה מידה עוזר לה להתמודד גם עם נקודות קטנות וגם עם אזורים חסרים רחבים.

כיצד תמונות שבורות ממולאות חזרה

ברגע שמסכת הנזק ידועה, רשת תיקון נפרדת מתמקדת רק בשחזור התוכן החסר. רשת זו מקבלת שלושה קלטים: הפריים הפגום, מסכת הזיהוי ופריים התייחסות סמוך שעדיין מכיל את הסצנה השלמה. לאחר מכן היא משתמשת במסגרת אדברסאריאלית גנרטיבית כדי לסינתז החלפות סבירות בתוך החורים המסומנים, מונחית על ידי מספר פונקציות אובדן שמעודדות דיוק, מראה חזותי ריאליסטי וסגנון חלק. חשוב שהמערכת מנצלת את העובדה שהנזק תופס רק חלק קטן מכל פריים והוא בלתי תלוי בזמן, ולכן היא יכולה להתמקד במאמץ על אותם אזורים דלילים במקום לנסות ללמוד מחדש את כל התמונה. העיצוב הוא בכוונה פשוט ויעיל: רק שלושה פריימים לזיהוי ופריים התייחסות יחיד לתיקון, המדמה את אופן הפעולה של משחזר אנושי שבדרך כלל בודק רק כמה שכנים בעת תיקון פגם.

כמה טוב זה עובד בפועל

כדי לבחון את הגישה שלהם, הכותבים מוסיפים שריטות וכתמים מדומים לקליפים ארכיוניים נקיים ממאגר ציבורי ומשווים את המערכת שלהם עם כמה בסיסים חזקים, כולל גלאים מבוססי טלאים קלאסיים ומשחזרים מודרניים בלמידת מכונה לתמונות וסרטים. הגלאי שלהם מכפיל יותר מהכפול את מדד החפיפה (ממוצע החיתוך על איחוד) ביחס לבסיסים אלו, כלומר הוא מוצא פיקסלים פגומים בדיוק רב יותר. באיכות השחזור, הנמדדת על ידי יחס אות לרעש שיאי ודמיון מבני, שיטתם שוב מובילה בבירור ומציגה רווחים גדולים במיוחד כאשר משתמשים במסכות שלהן. בחומר ארכיוני אמיתי, השוואות חזותיות מראות ששיטות מתחרות או מפספסות חלקים מהנזק, מחדדות יתר על המידה פרטים לטקסטורות לא טבעיות, או נכשלות לחלוטין באזורים חסרים גדולים, בעוד המערכת החדשה יכולה להסיר לחלוטין שריטות ארוכות וכתמים גדולים במילויים חלקים ועקביים—וכל זאת תוך עיבוד רצפי הגדרה גבוהה בשברירי שנייה לפריים.

מה זה אומר לעבר התמונה הנעה שלנו

במונחים יומיומיים, המחקר מראה שדגם זהירות של אופן התנהגות הנזק לאורך זמן עושה אפשרית שחזור אוטומטי של סרטים ישנים שהיו נשארים פגומים או בלתי שמישים אחרת. על ידי איתור מדויק של המקומות שבהם הסרט שבור ואז שימוש בפריימים סמוכים לבניית אותם אזורים מחדש, השיטה מספקת תוצאות נקיות יותר מאסטרטגיות כוללות ומבצעת זאת עם פחות חישוב. אמנם זיהוי מושלם של כל שריטה עדיין מחוץ להישג יד, המסגרת הזו מהווה צעד משמעותי לעבר שחזור דיגיטלי נגיש ובהיקף גדול של סרטים היסטוריים, גליות חדשות וסרטוני בית, ועוזרת לשמר זיכרונות חזותיים לדורות הבאים.

ציטוט: Liu, Q., Liu, Y., Wang, L. et al. Restoration of archival film with large areas of structural damage. npj Herit. Sci. 14, 272 (2026). https://doi.org/10.1038/s40494-025-02235-3

מילות מפתח: שחזור סרטים ארכיוניים, תיקון שריטות וכתמים, שיחזור וידאו, למידה עמוקה למורשת, שימור דיגיטלי