שחזור אוטומטי של תמונות בעבודות היסטוריות באמצעות היברידיזציה של העברה למידה עם מודלים גנרטיביים עמוקים

מדוע חשוב לתקן אמנות עתיקה בעזרת בינה מלאכותית

מוזיאונים וארכיאולוגים ברחבי העולם מתחרים עם הזמן. ציורי קיר עתיקים, פרסקאות וקירות מצוירים מתפוררים, דוהים ומתקרעים לאחר מאות שנות חשיפה ללחות, זיהום וטיפול רשלני. שיחזור ידני איטי, יקר ולעתים בלתי הפיך. המחקר הזה מציג מערכת בינה מלאכותית חדשה היכולה לתקן דיגיטלית תמונות פגומות של יצירות היסטוריות, ולהציע לאוצרות ולחוקרים דרך בטוחה לדמיין כיצד ייתכן שנראו סצנות אבודות ולשמר אותן לדורות הבאים.

קירות סדוקים, צבע חסר ורשת ביטחון דיגיטלית

שחזור מסורתי לעתים קרובות אומר שמושמר מוסר צובע מחדש את היצירה, מוסיף צבע במקום בו הוא חסר. גם כאשר נעשה בקפידה, שינויים כאלה קשה להחזיר לאחור והם עלולים להכניס הטיה מודרנית. שחזור דיגיטלי נוקט בגישה שונה: צילומים ברזולוציה גבוהה של ציורי קיר פגומים עוברים עיבוד על ידי אלגוריתמים המציעים כיצד ניתן למלא אזורים חסרים. מכיוון שהכל קורה בתוכנה, שחזורים מוצעים ניתנים להשוואה, לתיקון או לביטול מבלי לגעת בחפץ הפיזי. המחברים מתמקדים בציורי הקיר בדונחואנג שבסין — קומפלקס מפורסם של מערות מקדש שציורי הקירות שלו סבלו סדקים, התקלפות, עובש וחלקים חסרים גדולים. המטרה שלהם היא לבנות מערכת היכולה לתקן תמונות כאלה באופן אוטומטי תוך שמירה מרבית על הסגנון, הצבעים והפרטים הדקים המקוריים.

מתמונות רועשות לנקודות התחלה ברורות

השלב הראשון במערכת הוא לנקות את צילומי הקלט כדי שעיבוד מאוחר יותר לא יוטעה מרעש מצלמה או תאורה לקויה. השיטה משתמשת במסנן מדיאני אדפטיבי, טכניקה שמחליקה כתמים ופיקסלים בהירים או כהים אקראיים תוך שמירה על קצוות חדים, כמו קווי מתאר בסצנת ציור. לאחר מכן היא משפרת את הניגודיות כך שקווים דקים וצבעים דהויים יהפכו לקלים יותר להבחנה. התאמות אלו פועלות כמו ליטוש עדין של עדשה מחושלת: הן אינן ממציאות תוכן חדש, אבל עושות פרטים קיימים לגלויים יותר. על ידי כוונון זהירות של שלב זה נמנעים המחברים מהחלקה מופרזת שעלולה למחוק עבודה מברשת עדינה שחשובה לחוקרים.

ללמד את המערכת להבין נזקים

לאחר שה이미התנקה, על המודל להחליט אילו חלקים בציור שלמים ואילו פגומים. לשם כך משתמשים המחברים ברשת עצבית קומפקטית אך חזקה בשם SqueezeNet, מותאמת עם מנגנון תשומת לב כך שתתמקד באזורים אינפורמטיביים. רשת זו לומדת לקרוא את השפה הוויזואלית של ציורי קיר — מרקמי טיח, דפוסי פיגמנט וצורות של סדקים או קיר חשוף. הפלט שלה מוזן לרשת נוספת שנקראת U-Net, המעוצבת למשימות חיתוך מדויק. U-Net מתייגת כל פיקסל כצבע שלם, כתם חסר או צורות אחרות של התדרדרות. הודות לחיבורים קופצים ולחסימות תשומת לב ושאריות נוספות, היא עוקבת הן אחרי הפריסה הרחבה (איפה נמצא דמות או גבול) והן אחרי תכונות זעירות (כמו קווי שיער וקישוטים), וממפה בדיוק היכן נדרש inpainting.

לאפשר לצייר בינה מלאכותית למלא את הפערים

כאשר האזורים הפגומים מסומנים, השלב הסופי הוא לדמיין כיצד ייתכן שנראו אזורים אלה במקור. כאן המחברים משלבים שתי רעיונות מתקדמים: רשתות יריבות גנרטיביות (GAN), שמצטיינות ביצירת תמונות ריאליסטיות, ורשתות טרנספורמר, שמצטיינות בלכידת יחסים לטווח ארוך. ה"GAN מבוסס טרנספורמר" ההיברידי שלהם בוחן את הצבע המקיף השלם ואת הציור כולו על מנת להסיק מרקמים, צורות וצבעים סבירים לאזורים החסרים. הוא לא פשוט מעתיק ומדביק פיקסלים קרובים; במקום זאת, הוא מסנתז תוכן חדש שמתמזג באופן חלק לתוך הסצנה ומכבד קומפוזיציה גלובלית, כגון סימטריה של דפוסים או רציפות של גלימות וקווי אדריכלות.

כמה טוב המתקן הדיגיטלי עובד

כדי לבדוק את המערכת, החוקרים השתמשו במאגר ממויין של תמונות מציורי קיר מדונחואנג הכולל גרסאות שנגרמו באופן מלאכותי ונקודות ייחוס מקוריות. זה מאפשר להם למדוד עד כמה הפלט המשוחזר דיגיטלית קרוב למקור ללא נזק. הם מדווחים שהשיטה שלהם, בשם HDLIP-SHAR, מנצחת מספר טכניקות חזקות קיימות במדדים שונים של איכות, כולל בהירות כוללת (PSNR), דמיון מבני (SSIM) ומדד פרספטואלי מודרני (LPIPS) המשקף טוב יותר שיפוט חזותי אנושי. המודל גם פועל ביעילות, דורש פחות משאבי מחשוב וזמן מאשר גישות רבות מתחרות, דבר חשוב אם מוזיאונים רוצים לעבד אוספים גדולים.

מה משמעות הדבר להצלת ההיסטוריה

ללא מומחים, המסקנה המרכזית היא כי מערכת הבינה המלאכותית הזו פועלת יותר כמו עוזר זהיר והפיך מאשר כמו צייר בוטח מדי. היא יכולה להציע כיצד אולי ישלימו פנים, דפוסים או סצנות חסרות בציורי קיר עתיקים, ולהציע לחוקרים כלי חזותי רב-עוצמה מבלי לסכן את המקור. במקביל מציינים המחברים מגבלות: השיטה עדיין תלויה בחומר ייחוס סביר ובהירות יחסית, מתקשה בנזקים קיצוניים, ועדיין אינה משלבת תובנות היסטוריות או ניתוח חומרי בתחזיותיה. אף על פי כן, גישות היברידיות כמו HDLIP-SHAR מסמנות צעד חשוב לקראת שימוש בבינה מלאכותית לא רק לשיפור תמונות יפהפיות, אלא לסיוע בשימור מורשת תרבותית שאין לה תחליף באופן שקוף, נבדק ולא פולשני.

ציטוט: Swathi, B., Rao, D.B.J. Automated image inpainting for historical artifact restoration using hybridisation of transfer learning with deep generative models. Sci Rep 16, 4810 (2026). https://doi.org/10.1038/s41598-026-35056-w

מילות מפתח: שחזור ציורי קיר דיגיטלי, תיקון תמונה (inpainting), למידה עמוקה, מַורֶשָׁה תרבותית, מודלים GAN מבוססי טרנספורמר