שיקום דיגיטלי של טיחורי ג'יאנגנאן עתיקים באמצעות למידת פרוקסי והנחיה מבנית

מצילים ציורי קיר דוהים

בצדי הנהרות הלחים של דרום סין, ציורי קיר בני מאות שנים נעלמים בשקט. חום, לחות וזמן פוגעים בטיח, ויוצרים סדקים, כתמים וקליפות שקשה ויקר לתקנם ידנית ולפעמים מסוכן. במאמר זה מוצג שביל עבודה חדש למחשבים ל"שחזר" דיגיטלית את ציורי הג'יאנגנאן השבריריים האלה, להחזיר למסך את הסצנות ומברשות הציור בלי לגעת בקירות המקוריים. העבודה חשובה לא רק לחובבי אמנות, אלא לכל מי שמעניינתו כיצד טכנולוגיה מודרנית יכולה לעזור לשמור על הזיכרון התרבותי של העולם.

האוצרות הנסתרים של ג'יאנגנאן

הציורים הנחקרים כאן מפוזרים באולמות אבות, במקדשים ובבתים ישנים במחוז ג'ג'יאנג. בשונה מהמערות המפורסמות במדבר דונהואנג, היצירות האלה יושבות באקלים חם ולח שהוא במיוחד קשה על חומרים מבני אדמה, עץ וליים. סקרי שטח מראים כי ציורים רבים מכוסים בנזקים חופפים: סדקים, עובש, דהייה, כתמי מים ומקומות שבהם שכבת הצבע התקלפה. תיקון פיזי יקר, בלתי הפיך ודרשני מבחינה טכנית, ולכן שיקום דיגיטלי — בניית התמונה בפיקסלים במקום בטיח — מציע קו הגנה ראשוני בטוח יותר. אבל אותם תכונות שהופכות את הציורים לייחודיים גם מקשות על המחשבים להתמודד עמם.

מדוע בינה רגילה אינה מספיקה

תוכניות תיקון תמונה מודרניות מבוססות למידה עמוקה בדרך כלל תלויות באוספים עצומים של זוגות תמונה "לפני ואחרי" לאימון. עבור ציורי הג'יאנגנאן, נתונים כאלה פשוט לא קיימים: היצירות מפוזרות, צוירו על ידי אמנים עממיים רבים, ומראה המקור הבלתי-ניזוק אינו ידוע. במקביל, הנזק עצמו מבלבל אלגוריתמים סטנדרטיים. סדקים כהים וכתמי עובש יכולים להראות דומים מאוד לקווים דקים של דיו, ולכן מודל המתבסס בעיוורון על קצוות נראים נוטה להעתיק את הנזק במקום להסירו. כתוצאה מכך, כלים זמינים משאירים לרוב פגמים או ממציאים פרטים שמתנגשים עם הסגנון המסורתי של היצירות.

לימוד סגנון מאומנות קרובה

כדי לצאת ממבוי סתום זה, המחברים מציעים תהליך עבודה שנקרא שיקום פרוקסי מונחה מבנית, או SGPR. השלב הראשון מפריד בין "למידת סגנון" ל"תיקון המנזרון". במקום לאמן ישירות על צילומי ציורי הקיר המועטים, הם מרכיבים אוסף פרוקסי גדול של למעלה מששת אלפים ציורים סיניים קלאסיים ממוזיאונים. התמונות הללו חולקות את שפת האמנות של ציורי הג'יאנגנאן: אופן זרימת הקווים, איך שכבות הדיו והצללה מסודרות ואיך הסצנות מורכבות. מחולל תמונה חזק, המבוסס על טכנולוגיית דיפוזיה עדכנית, מותאם בעדינות על סט הפרוקסי הזה. פונקציית אובדן מיוחדת מעודדת את המודל לא רק לחקות מרקמים, אלא ללכוד תכונות אמנותיות רחבות יותר כגון קצב עבודת המברשת ואיזון צבעים. התוצאה, שנקראת ArtBooth, היא מחולל ש"מדבר" את סגנון הציור הסיני המסורתי שוטף, אף על פי שמעולם לא ראה את ציורי הקיר הפגועים בפועל.

למצוא קווים נקיים בתמונות מלוכלכות

השלב המרכזי הבא הוא לחלץ את המבנה המקורי של הציורים מתוך תמונות מבולגנות. כאן המחברים מציגים אלגוריתם חילוץ תכונות סלקטיבי שאינו דורש כל אימון. האלגוריתם בוחן את אותו ציור פגום בשתי סקאלות תמונה ומריץ שתי גלאי קצווה פשוטים על כל גרסה. תכונות שמופיעות בעקביות בשני הגלאים ובשתי הסקאלות נוטות להיות קווי ציור אמיתיים — כמו קווי מתאר של גלימה או גזע עץ — בעוד שכתמים אקראיים וכתמים נוטים להיות עובש או כתמים. על ידי מיזוג האותות האלה למסכת "מעטפת", האלגוריתם מחזק קווים אמינים ומדכא רעש, ומייצר שני מפות הנחיה נקיות: שרטוט קווים חד ומפת קצוות מעודנת המדגישות מבנה אמיתי תוך התעלמות מרוב ההתדרדרות.

שיקום דיגיטלי מונחה בפועל

החלק הסופי של SGPR מחבר מפות מבניות נקיות אלה עם המחולל המיומן בסגנון דרך רשת בקרה מותאמת. במהלך השחזור מוזנים תמונת הציור הפגום וטקסט קצר ל-ArtBooth, בעוד שמפות הקווים והקצוות המסוננות משמשות כסוג של תבנית. גרסה מותאמת של מסגרת ControlNet מוזרקת לשכבות הפנימיות של המחולל, מכוונת בעדינות כל שלב של הסרת רעש כך שהפיקסלים החדשים יתאימו לפריסה המקורית ולעבודת המברשת במקום לסטות לסצנות גנריות. בדיקות על נזקים מדומים ועל ציורים אמיתיים מכפר סונגסי מראות שהמערכת המשולבת מסירה כתמים וסדקים Thoroughly יותר משיטות קיימות, שומרת על דמויות וחפצים במקומות הנכונים ומייצרת תמונות שמומחים שיפוטו כקרובות באיכות לשיקום דיגיטלי ידני מוקפד.

מה משמעות הדבר עבור המורשת התרבותית

ללא-מומחים, המסקנה ברורה: על ידי למידת שפת הוויזואלית של יצירות קשורות והפרדה זהירה של קווים אמיתיים מנזק, בינה מלאכותית יכולה כעת להציע מגעים דיגיטליים ברמת מוזיאון לציורי קיר שבריריים שעלולים להיעלם. בעוד שהשיטה עדיין נאבקת כאשר מקטעים שלמים של ציור חסרים, ועדיין לא הורחבה לעבודות עשירות בצבע, היא כבר מספקת לאנשי שימור כלי חדש וחזק. באופן רחב יותר, המחקר מראה כיצד שימוש חכם בנתוני פרוקסי והנחיה מבנית יכול לעזור להגן על סוגים רבים של חפצי מורשת שהם נדירים מדי, פגועים מדי או יקרים מדי לספק את סטי האימון העצומים שבינה מלאכותית מודרנית בדרך כלל דורשת.

ציטוט: Yang, C., Liu, Y. & Cai, Y. Digital restoration of ancient Jiangnan murals via proxy learning and structural guidance. npj Herit. Sci. 14, 182 (2026). https://doi.org/10.1038/s40494-026-02369-y

מילות מפתח: שיקום ציורי קיר דיגיטלי, שימור מורשת תרבותית, ייצור תמונה בינה מלאכותית, סגנון ציור סיני, חילוץ תכונות עמידות לנזק