DCADif: שילוב דיפוזיוני דינמי מותאם-זמן מותנה ומופרד להשלמת ציורי קיר סיניים מסורתיים

החייאת אמנות קיר עתיקה

בכל רחבי סין קירות מקדשים ותקרות מערות מכוסות בציורי קיר בני מאות שנים המתבהרים, מתקלפים ונשברים. ציורים אלה אינם רק יפים; הם רשומות ויזואליות של אמונות, סיפורים וחיי יומיום מהעבר הרחוק. שיחזורם בעבודת יד קשה, איטי ולעיתים מסוכן למשטחים העדינים. מחקר זה מציג שיטה חדשה מבוססת בינה מלאכותית (AI), הנקראת DCADif, המסייעת למומחים "להשלים" באופן דיגיטלי חלקים חסרים או פגועים של ציורי קיר תוך שמירה על שני הממדים החשובים—הציור והסגנון—נאמנים ליצירה המקורית.

מדוע קשה לתקן ציורי קיר ישנים

ציורי קיר סיניים מסורתיים הם הרבה יותר מתמונות צבעוניות על קיר. הם שוזרים קומפוזיציות מורכבות, קווי מתאר עדינים ומרקמים דקים שנוצרו מפיגמנטים וכלים עתיקים. כשהזמן, הלחות והזיהום משאירים חורים וכתמים, השמרנים נאלצים לנחש מה היה בתוכם. כלים דיגיטליים למילוי מנסים לעשות זאת גם הם, אך רוב השיטות הקיימות מטשטשות שתי משימות קריטיות: השבה של המבנים הבסיסיים ושימור הסגנון האמנותי הייחודי. כתוצאה מכך, חלקים משוחזרים עשויים להיראות מבניים-לקויים, או שיתאימו לצורות אך יאבדו את התחושה ההיסטורית של מברשת וצבע. האתגר הוא לשחזר בו זמנית גם את "עצמות" היצירה וגם את ה"נשמה" שלה.

ללמד AI לראות מבנה וסגנון בנפרד

מערכת DCADif מתמודדת עם האתגר על ידי פיצול הבעיה לשני מסלולים. ראשית, החוקרים ממירים את ציור הקיר לקו מתאר פשוט, בדומה לקו דיו. גרסה מצומצמת זו לוכדת היכן נמצאים דמויות, חפצים וגבולות, מבלי להסיח את הדעת מצבע או מרקם. מודל חזון חזק (מותאם מכלי שאומן במקור על מיליוני תמונות) קורא את קו המתאר הזה ומסנטז תיאור קומפקטי של מבנה היצירה. במסלול נפרד, מקודד חדש בשם "SwinStyle" לומד מהציור המקורי הפגום את טביעת הסגנון שלו: כיצד הצבעים מתמזגים, כיצד מתעקמות מברשות וכיצד משתקמים או מתקלפים משטחים. באמצעות שמירה על שני התיאורים—מבנה וסגנון—במצבים נפרדים, DCADif יכול לשלוט בהם באופן עצמאי במהלך השחזור.

לאפשר לתמונה לעלות מתוך רעש

בלב DCADif עומד מודל דיפוזיה, סוג של AI שיוצר תמונות על ידי התחלה מרעש אקראי ובהדרגה "מנקה" אותו לתמונה מציאותית. התהליך מתרחש על פני שלבי זמן קטנים רבים, בדומה לצפייה בתמונה מטושטשת המחודדת בהדרגה. המחברים תכננו מודול מיזוג תכונות מותאם-זמן הפועל כמו בורר חכם בין מבנה לסגנון ככל שהתמונה מתהווה. בשלבי הרעש ההתחלתיים מאוד, המודל נשען בכבדות על המבנה, משתמש בקו המתאר כדי לפרוס צורות וקונטורים נכונים. ככל שהרעשים פוחתים והתמונה מתבהרת, הבורר נוטה בהדרגה לכיוון הסגנון, מאפשר לכניסת צבעים עשירים, מרקמים ופרטים היסטוריים מבלי לעוות את שרטוט הבסיס.

בדיקה על מאגר ציורי קיר וציורים חדש

כדי לשפוט האם DCADif משפר באמת שחזור דיגיטלי, הצוות הרכיב מאגר נתונים חדש גדול בשם MuralVerse-S, שנוצר מציורי קיר מאזורי דוגמה כגון דונחואנג, גנסו, חביי ומונגוליה הפנימית, יחד עם מסכות ריאליסטיות המדמות סדקים וקליפת צבע. הם השוו את DCADif לתשע שיטות מילוי מובילות, שחולשות מרשתות קונוולוציה ישנות, דגמי טרנספורמר ושיטות דיפוזיה אחרות. ברמות נזק מדומות שונות, DCADif הפיק תמונות עם מבנים חדים יותר, קומפוזיציות גלובליות קוהרנטיות יותר ומרקמים שבני אדם שפטו כקרובים יותר למקור. השיטה גם עבדה היטב על אוסף נפרד של ציורי נוף סיניים, ושחזרה בהצלחה כתמי דיו עדינים וקווי הרים—מה שמרמז שהיא יכולה להכליל מעבר לציורי קיר בלבד.

מה זה אומר עבור מורשת תרבותית

מעבר למספרים ולתרשימים, החוקרים ביקשו מ-50 מומחי אמנות וסטודנטים לתאר את תוצאות השחזור. המשתתפים דירגו בעקביות את DCADif במקום הראשון בדיוק התוכן, בנאמנות לסגנון ובאיכות הכוללת. דוגמאות אמיתיות, כולל יצירות מפורסמות כמו "גברות חצר הלבושות בנזרי פרחים", הראו שהמערכת יכולה להשלים פנים חסרות, ביגוד ודוגמאות דקורטיביות באופן המתמזג באופן טבעי עם הציור הסובב. עם זאת, המחברים מציינים מגבלות: כאשר אזורים עצומים נהרסים, כל השערה דיגיטלית עלולה להיות לא מדויקת היסטורית, והשיטה דורשת משאבים חישוביים כבדים. אף על פי כן, DCADif מציע לשמרנים כלי חדש, לא חודרני—כלי שיכול להציע שחזורים מדויקים ועדינים תוך השארת הקיר המקורי ללא נגיעה, ועוזר למוזיאונים ולחוקרים לחקור, להמחיש ולהגן טוב יותר על אוצרות תרבות שאין שני להם.

ציטוט: Peng, X., Li, C., Hu, Q. et al. DCADif: decoupled conditional adaptive time-dynamic fusion diffusion inpainting of traditional Chinese mural paintings. npj Herit. Sci. 14, 61 (2026). https://doi.org/10.1038/s40494-026-02327-8

מילות מפתח: שחזור ציורי קיר דיגיטלי, מילוי תמונה (inpainting), מודלים דיפוזיוניים, מורשת תרבותית סינית, טכנולוגיית שימור אמנות