AFMNet: רשת השלמת ציורי קיר ללא פעולות הפעלה באמצעות מנגנון קשב רב-ראשי

למה חשובה הצלת ציורי קיר דהויים

ציורי קיר עתיקים במקדשים ובמערות אינם רק קישוטים יפים; הם תיעוד חזותי של האופן שבו אנשים חיו, תפלו, נשאו בגדים ודמיינו את העולם. לצערנו, רבים מהפרסקאות האלה סדוקים, מתקלפים או אבדו בחלקם. שחזור ידני איטי, מסוכן ולעיתים בלתי אפשרי. מחקר זה מציג את AFMNet, שיטה ממוחשבת חדשה היכולה "למלא" אזורים פגומים בתמונות של ציורי קיר באופן שמשכנע את העין, פועלת ביעילות על חומרה צנועה ועוזרת להגן על אוצרות תרבות עדינים למחקר והצגה וירטואלית.

הבעיה עם תמונות שבורות

כלי תיקון דיגיטליים מסורתיים בדרך כלל מעתיקים צבעים ומרקמים סמוכים לאזורים חסרים, וזה עובד עבור שריטות קטנות אך נכשל כאשר פרצופים, ידיים או דגשים דקורטיביים שלמים נעלמים. שיטות בינה מלאכותית מודרניות יכולות לדמיין תכנים סבירים לפערים גדולים, אך רובן תוכננו עבור תמונות יומיומיות, לא עבור הסגנונות הייחודיים של אמנות עתיקה. ציורי קיר מציגים לרוב דמויות חד-פעמיות, גבולות מורכבים וסדקים בלתי סדירים שאינם מצייתים לצורות נקיות. מערכות קיימות מטשטשות פרטים חשובים, מציגות צורות מגושמות או דורשות כוח חישובי כבד שאינו מעשי עבור מוזיאונים רבים ומעבדות שימור.

רשת רזה שנבנתה עבור ציורי קיר

AFMNet היא רשת עיבוד תמונה קומפקטית בצורת U, עם מקודד שמפרק תמונה פגומה לתכונות ודקודר שמבנה אותה מחדש לתמונה שלמה. מה שמייחד אותה הוא עיצוב דו-זרמי: זרם אחד מעביר מידע על חלקי הציור הגלויים, והשני נושא מפה של פיקסלים חסרים או בלתי מהימנים. מפה זו מתעדכנת בכל שלב, כך שהמנגנון תמיד יודע היכן לבטוח בתמונה המקורית והיכן עליו להמציא תכנים חדשים. בהפרדה מפורשת בין אזורים תקינים לפגומים, AFMNet ממקדת את מאמציה במקום שבו הם דרושים ומתחמקת משינוי מיותר של אזורים שלמים.

שילוב של דפוסים גלובליים עם פרטים עדינים

כדי לבצע תיקונים משכנעים, המערכת חייבת להבין גם את הסצנה הכוללת וגם מברשות הזעירות. בלוק הבניין המרכזי של AFMNet מתמודד עם זאת על ידי הסתכלות על התמונה בשלושה אופנים משלימים בו‑זמנית. במבט המרחבי הוא בוחן שכנות מקומית של פיקסלים, מה שעוזר להתמודד עם סדקים וגבולות. במבט התדרי הוא משתמש בהמרה מתמטית כדי לראות מבנים רחבים ודפוסים החוזרים על עצמם על פני כל הפרסקה. במבט הערוצי הוא לומד אילו שילובים של צבע ומרקם נושאים את האותות האמנותיים החשובים ביותר, ומחזק אותם בשקט תוך התעלמות ממידע פחות שימושי. במקום להסתמך על פונקציות הפעלה סטנדרטיות וכבדות חישובית, AFMNet משתמש במנגנון שער פשוט המכפיל זוגות של מפות תכונה כדי ליצור לא-ליניאריות, מה שמצמצם את גודל המודל והחישוב בלי לפגוע בביטויו.

לאפשר לאזורים מרוחקים "לדבר" זה עם זה

ציורי קיר רבים כוללים דמויות, קישוטים ורקעים שקושרו זה לזה על פני מרחקים גדולים בקיר. כדי לקשר בין אלמנטים מרוחקים אלה, AFMNet מוסיף מודול קשב רב-ראשי קל במשקל בנקודה הצרה ביותר של ה‑U. כאן מאפשרת הרשת לכל חלק בתמונה "להסתכל" על כל שאר החלקים התקינים ולקבוע אילו מהם צריכים להשפיע על התיקון. ראשי קשב שונים יכולים להתמחות בקשרים שונים — למשל, לשמור על עקביות קימורי הילה או ליישר תבנית גבול חוזרת. קריטי, שמודול הקשב רואה גם את מפת הנזק, כך שהוא לומד לא לקבל החלטות על בסיס אזורים שכבר מולאו סינתטית ועדיין עשויים להיות לא ודאיים.

הוכחה לתפקוד בפועל

כדי לבחון את AFMNet בצורה קפדנית, המחברים אימנו אותה תחילה על אוסף גדול של סצנות יומיומיות ולאחר מכן כווננו אותה בקפידה על סט ציורי מערות דנחואנג שנבחר בקפידה. הם יצרו משחזות נזק ריאליסטיות באמצעות תהליך הליכה אקראית המדמה סדקים והתקלפות אמיתיים. ברמות נזק שונות, AFMNet התעלה על שיטות מתחרות מוכרות במדדי איכות תמונה סטנדרטיים, תוך שימוש בכמעט שליש פחות פרמטרים מאשר קו־בסיס חזק. השוואות ויזואליות על ציורי קיר סינתטיים ובאופן אמיתי פגומים הראו כי AFMNet שומר טוב יותר על תווי פנים, קווים דקורטיביים ומרקמים עדינים, עם פחות ארטיפקטים מסיחי דעת, אפילו בעבודה ברזולוציות גבוהות שכיחות בצילום מוזיאונים.

מה זה אומר למורשת התרבותית

במילים פשוטות, AFMNet הוא משחזר דיגיטלי חכם ויעיל שמסוגל לנחש חלקים חסרים של ציורי קיר עתיקים באופן שמכבד את סגנונם ומבנם. הוא מטפל בסדקים מורכבים ואובדן פיגמנט באופן רגיש יותר מרבים מכלים קיימים ויכול לפעול במהירות מספקת על מחשבים רגילים או מחשבי נייד לשימוש באתר. אף על פי שהוא עדיין מתקשה עם נזקי פיח קשים מאוד ומרקמים מורכבים במיוחד, הוא מספק לשומרי ראש ולחוקרים כלי עזר עוצמתי להמחשת מראהם המקורי האפשרי של יצירות פגועות, לתכנון התערבויות פיזיות בבטחה רבה יותר וליצירת תערוכות דיגיטליות מושכות שמחזירות את ציורי הקיר השבירים לחיים לקהלים רחבים יותר.

ציטוט: Hu, C., Luo, D., Xia, G. et al. AFMNet: an activation-free mural completion network via multi-head attention mechanism. npj Herit. Sci. 14, 239 (2026). https://doi.org/10.1038/s40494-026-02379-w

מילות מפתח: שחזור ציורי קיר דיגיטליים, התאמת תמונה חסרה, מורשת תרבותית, למידה עמוקה, רשתות קשב