M3SFormer: טרנספורמר מרובה-שלבים הממזג סמנטיקה וסגנון לשחזור תמונות פרסקו

החייאת ציורי קיר דהויים

במקדשים ובמערות בסין, פרסקאות וציורי גליל עתיקים מתפוררים בהדרגה—פיגמנט מתקלף, פניהם של דמויות חסרות וקטעים שלמים שנעלמו עם הזמן. משמרי אמנות נוטים יותר ויותר להשתמש בכלים דיגיטליים, הן כדי לחקור את היצירות בבטחה והן כדי לדמיין כיצד הן נראו בעבר. מאמר זה מציג את M3SFormer, מערכת בינה מלאכותית חדשה שתוכננה במיוחד ל"השלמת" פרסקאות וציורים מסורתיים פגומים, ממלאת אזורים חסרים תוך שמירה על המבנה המקורי, הצבעים וסגנון האמנות.

מדוע קשה לתקן פרסקאות ישנות

שחזור ציורי קיר היסטוריים דרשני בהרבה מאשר תיקון תמונת משפחה. פרסקאות מכילות לעתים תבניות צפופות, משיכות מכחול עדינות וגבולות צבע חדים בין דמויות, ביגוד ורקע. שיטות למידה עמוקה מוקדמות, ובפרט אלה המבוססות על רשתות קונבולוציה סטנדרטיות, עובדות טוב לשריטות קטנות אך מתקשות כאשר חסרים חלקים גדולים. הן עלולות לטשטש קווים חשובים, להמציא צורות שסותרות את הסביבה או להחליק קונטרסטים דרמטיים שנותנים לפרסקו את אופיו. שיטות אחרות מדחסות מידע תמונה באופן אגרסיבי מדי, ומאבדות פרטי תדר גבוה—סדקים עדינים, קווי שיער, מרקמים טקסטיל—ששימורנים מעריכים ביותר.

צנרת שחזור דיגיטלית בת שלושה שלבים

M3SFormer מתמודד עם האתגרים הללו באמצעות צנרת מרובה שלבים מקוּרס-לא-דק (coarse-to-fine). תחילה, שלב הסקת מבנה גלובלי מחלק את התמונה לתתי-קטעים ומשתמש בטרנספורמר—מודל שפותח במקור לשפה—כדי להבין כיצד חלקים מרוחקים של הפרסקו קשורים זה לזה. על ידי דוגמנות קשרים לטווח ארוך ללא אובדן מידע אופייני מקוואנטיזציה כבדה, שלב זה בונה מפת מבנה גלובלית מפורטת. לאחר מכן, שלב עקביות סמנטית–סגנונית מביא שתי הדרכות ברמה גבוהה: הוא מבצע סגמנטציה של התמונה לאזורים משמעותיים (כמו פנים, גלימות או רקע) ומשתמש ברשת מאומנת מראש כדי ללמוד את המרקמים והצבעים האופייניים לכל אזור. לבסוף, שלב שיפור מונחה-זרימה מתייחס לשחזור כאל אבולוציה הדרגתית, ומשתמש בשדה "מהירות" מאומן כדי לדחוף את הניחוש ההתחלתי לעבר תוצאה סופית קוהרנטית מבחינה ויזואלית במספר צעדים קטנים.

שמירה על הרמוניה בין מבנה וסגנון

רעיון מרכזי בעבודה הוא שיש לטפל בתוכן ובסגנון יחד אך מבלי לבלבל ביניהם. המרכיב הסמנטי של המודל, המבוסס על מערכת סגמנטציה חזקה הידועה כ-Mask2Former, מציין לרשת היכן מתחילים ומסתיימים היסודות השונים בסצנה. מעל לכך, מרכיב הסגנון בודק עד כמה האזורים המשוחזרים תואמים למקור בכל אזור סמנטי, באמצעות השוואה משכבתית של תבניות תכונה (באמצעות מטריצות גרם) במספר סקאלות. זה מאפשר למערכת להתייחס לפנים של דמות אחרת ממגוהץ גלימת דוגמה או שמיים מעוננים, במקום ליישם כלל סגנוני גלובלי שימחק הבדלים מקומיים. בשלב השיפור, מסיכות סמנטיות משמשות כמעקות לשדה הזרימה, ומבטיחות שהפיקסלים הממולאים יתפתחו בדרכים שנותרות עקביות הן עם המבנה והן עם הסגנון.

מבחנים ובחינות השיטה

כדי לבדוק עד כמה M3SFormer יעיל בהגדרות ריאליסטיות, המחברים אספו שני מאגרים גדולים: אחד של פרסקאות סיניות מאזורים שונים ואחד של ציורי נוף מסורתיים. הם סימולרו נזקים באמצעות מסכות המודללות סדקים אמיתיים וקטעים חסרים, ואז השוו את שיטתם לשבע חלופות מתקדמות, ביניהן מערכות מבוססות טרנספורמר ופיזור (diffusion). על פני מדדים סטנדרטיים של איכות תמונה, דמיון מבני וריאליזם תפיסתי, M3SFormer יצא באופן עקבי כמצטיין, במיוחד כאשר אזור הנזק היה גדול ומורכב. השוואות חזותיות מראות שהוא נמנע מטשטוש, כתמי צבע מוזרים וגרגירי רעש שאופייניים לשיטות מתחרות רבות, ובאותו זמן פועל במהירות מעשית לשימוש בעולם האמיתי.

מגבלות, מסקנות ואפשרויות עתידיות

למרות יתרונותיו, M3SFormer אינו מרפא פלא. מול אזורים חסרים גדולים מאוד או עיצובים מסובכים במיוחד, הוא עדיין עלול להמציא פרטים שסותרים את המציאות ההיסטורית—אזהרה חשובה לשימורנים שצריכים תמיד לשמור על הגבול בין שיקום סביר לשערה. המחברים מציעים שגירסאות עתידיות ישלבו הקשרים מפורשים, כמו סקיצות או תיאורי טקסט קצרים, כדי לעגן את דמיונו של המודל. גם עם הסתייגויות אלה, הגישה מציעה ערכה עוצמתית חדשה למוזיאונים ולחוקרים: דרך לייצר שחזורים דיגיטליים מפורטים ונאמנים לסגנון, לחקור שחזורים ניסיוניים ללא פגיעה בחפצים ולסייע להבטיח שיצירות תרבות עדינות יוכלו להיבחן ולהערך זמן רב לאחר שהפיגמנטים המקוריים דעכו.

ציטוט: Hu, Q., Ge, Q., Zhang, Y. et al. M3SFormer: multi-stage semantic and style-fused transformer for mural image inpainting. npj Herit. Sci. 14, 64 (2026). https://doi.org/10.1038/s40494-026-02325-w

מילות מפתח: שחזור פרסקו דיגיטלי, השלמת תמונה, מורשת תרבותית, מודלים מבוססי טרנספורמר, שימור אומנות