דגם משופר להשחזור תמונתי מונחה משוואתיות סמנטית ושרטוט לשחזור תמונות בנוף סיני

להחיות דיגיטלית יצירות עדינות

ציורי נוף סיניים עתיקים, המוערכים על הרי הערפל והמשיחות הזורמות שלהם, הם גם חפצים שבירים: מאות שנים של טיפול, חרקים ולחות מותירים בהם סדקים, חורי תולעים וחסרים. ששימור צריך לאזן בין הצלת מה שנותר לבין הימנעות מנזק נוסף. מחקר זה מציג שיטת בינה מלאכותית המיועדת במיוחד לסייע בשחזור דיגיטלי של ציורים אלה, למלא אובדנים תוך שמירה על המבנה והסגנון המקוריים של האמן.

מדוע ציורים ישנים זקוקים לטכנולוגיה חדשה

נופי סין המסורתיים הולכים שתי מסורות עיקריות: בית הספר הצפוני, עם פסגות נועזות ומרשימות, ובית הספר הדרומי, המוכר לשטיפות דיו רכות ולמרחבים ריקים. שניהם נשענים על וריאציות עדינות של קו וטון שנוטות להיפגע כאשר הנייר או המשי מתדרדרים. תיקונים ידניים מצריכים זמן והם בלתי הפיכים; משיחה שגויה אחת עלולה לשנות יצירת מופת לצמיתות. טכניקות דיגיטליות מוקדמות העתיקו פיקסלים סמוכים או הסתמכו על כלים כלליים לצילומים. הן היו יכולות לתקן חורים בתמונה של רחוב, אך לרוב נכשלו בציורים — יצרו סלעים מביכים, גזעי עצים שבורים או משיכות מכחול ש״מרגישות לא נכונות״ בעיני מומחים.

כיצד ה-AI החדש לומד מבנה ומשמעות

כדי להתגבר על המגבלות הללו, המחברים תכננו מערכת שחזור המתבוננת בציור בשלוש דרכים משלימות במקביל. ראשית, היא מוציאה "שרטוט" מפורט המראה את עוצמת כל קו — מפסגות הרים בולטות ועד משיכות מרקם חלשות — באמצעות רשת זיהוי קצוות המותאמת לשימור מעברים עדינים של דיו. שנית, היא בונה מפה מקודדת בצבעים של מה שכל אזור מייצג — שמים, מים, סלעים, עלווה — באמצעות דגם סגמנטציה סמנטית בלתי מפוקח. שלישית, היא מנתחת את התמונה החלקית המוסתרת עצמה. שלוש הזרימות הללו מאוחדות ומוזנות לתוך Transformer, ארכיטקטורת AI עוצמתית שפותחה במקור עבור שפה, שמנבאת כיצד החלקים החסרים צריכים להיראות כדי להתאים הן למבנה הבסיסי והן לסצנה הכוללת.

ללמד את ה-AI לחקות משיכות מכחול, לא רק צורות

התאמת הקומפוזיציה היא רק חצי מהאתגר; המילוי חייב גם להתאים ליד האמן. לכן הצוות הוסיף מודול קל למשקל לחילוץ תכונות סגנוניות המתמקד באיכויות העדינות של משיכת המברשת והדיו — כיצד המשיכות מצטמצמות, כיצד המרקם בונה על פני סלעים, כיצד שטיפות דהויות לתוך הנייר. מודול זה מיצק מידע רלוונטי לסגנון מהחלקים הנראים של הציור ומזריק אותו במספר שלבים כאשר המערכת משחזרת את האזורים החסרים, ודוחף את הפלט לקראת אותו קצב וטונליות של המקור. האימון מונחה על ידי מטרת אובייקטיבית מורכבת שמענישה לא רק טעויות ברמת הפיקסל, אלא גם אי־התאמות במבנה הנתפס, בסטטיסטיקות המרקם ובסגנון הכללי, ולעודד תוצאות שנראות "נכונות" לעין האנושית, לא רק למחשבון.

הערכת השיטה

כדי להעריך את הגישה, החוקרים אספו מאגר גדול של כמעט 5,000 ציורי נוף באיכות גבוהה מאוספים מוזיאוניים ציבוריים ומסטנדרט ציבורי, תוך איזון בין יצירות של בית הספר הצפוני והדרומי. הם החילו באופן דיגיטלי מסכות לא סדירות המדמות נזקים אמיתיים — חוסרים קטנים, שריטות רחבות וחורי תולעים מצומדים — והשוו את שיטתם עם שישה מערכות שחזור מובילות, כולל רשתות קונבולוציה בשימוש נרחב, דגמי Transformer ודגמי דיפוזיה מודרניים. ברחבי רמות נזק שונות, הדגם החדש השיג בעקביות ציונים גבוהים יותר בחדות, בדמיון מבני ובריאליזם חזותי. השוואות מוגדלות הראו קווי רכס חלקים יותר, ענפי עץ משכנעים יותר ומרקמי דיו שהתמזגו באופן חלק לאזורים שלא נגעו. שופטים אנושיים, כולל ציירים מאומנים, גם העדיפו את השחזורים שלו, ושפטו אותם כקוהרנטיים יותר הן במבנה והן בסגנון.

מה המשמעות לזהות התרבותית

במלים פשוטות, המחקר מראה שניתן לאמן מערכת AI לא רק כדי "למלא חורים" בתמונות, אלא גם לכבד את ההיגיון הפנימי והאופי של ציור נוף סיני מסורתי. על ידי שילוב שרטוטי קווים, משמעות אזורית ורמזים סגנוניים, הדגם משחזר חלקים חסרים שנראים כאילו יכלו לשייך באמת לגליל המקורי. אמנם הוא אינו יכול להחליף משמרים, אך הוא מציע למוזיאונים ולחוקרים כלי חזק ולא פולשני להמחשת שחזורים אפשריים, לתכנון טיפולים וליצירת תחליפים דיגיטליים מלאים יותר של יצירות עדינות — ועוזר לנופים אלה להישמר ולהילמד, הרבה אחרי שהנייר נעשה עדין מדי לפריסה.

ציטוט: Cao, S., Mu, D., Zhang, Y. et al. An improved semantic and sketch biconditional guided image inpainting model for Chinese landscape painting. npj Herit. Sci. 14, 103 (2026). https://doi.org/10.1038/s40494-026-02371-4

מילות מפתח: שחזור דיגיטלי, ציור נוף סיני, שחזור תמונה, מורשת תרבותית, שימור אמנות