אל מול שיפור הקיבוץ הבלתי מפוקח של ציורים קוריאניים מהמאה ה-20 באמצעות מאפיינים מולטימודליים

לזהות דפוסים באמנות המודרנית הקוריאנית

מה אם מחשב יכול לעזור לנו להבין באילו אופנים ציירים דומים — או שונים לחלוטין — רק על סמך מבט בעבודותיהם? המחקר הזה משתמש בבינה מלאכותית כדי לבחון ציורים קוריאניים מהמאה העשרים, וחושף דפוסים חבויים בצבע, בטקסטורה ובסגנון. למבקרי מוזיאון, לחובבי אמנות ולקריאה סקרנית, הוא מציע דרך חדשה לראות עד כמה אמנים נבדלים זה מזה, ואיך יצירותיהם מתקבצות בשקט למשפחות סגנוניות שלעיתים אפילו מומחים מתווכחים לגביהן.

בניית אוסף אמנות שנבחר בקפידה

כדי לתת למחשב חומר משמעותי ללמוד ממנו, החוקרים בתחילה הרכיבו אוסף דיגיטלי ממוקד: 1,100 ציורים של אחד עשר אמנים מודרניים ועכשוויים קוריאניים בולטים, מנופאי דיו נוף ועד ציירים אבסטרקטיים וריאליסטים. כל אמן תרם 100 עבודות, שנאספו בעיקר מהמוזיאון הלאומי לאמנות מודרנית ועכשווית (MMCA) וממוסדות וקרנות מהימנות אחרות. הקבוצה כוללת דמויות מרכזיות כמו חלוצי האבסטרקט, ציירי ריאליזם של חיי היומיום, חדשנים בציור דיו, ואמנים שמשלבים מסורות עממיות עם הבעה מודרנית. בולטותם בתערוכות לאומיות מופתיות, כולל אוסף לי קון-הי המפורסם, סייעה להבטיח שהמאגר משקף את ליבת האמנות הקוריאנית במאה העשרים במקום אוסף אקראי של תמונות.

להמיר ציורים למספרים

מחשבים אינם "רואים" אמנות כפי שאנשים רואים אותה, לכן הצוות תרגם כל ציור לחבילת מאפיינים נומריים. הם לקחו מידע בסיסי על צבע בשתי דרכים שונות (RGB ו‑HSV), מדדו דפוסי טקסטורה עדינים באמצעות שיטה שנקראת gray-level co-occurrence, והוסיפו מבט סמנטי חזק ממודל ראייה‑שפה שאומן מראש הידוע כ‑CLIP. CLIP אומן במקור על כמויות עצומות של זוגות תמונה‑טקסט מהאינטרנט, ולכן נושא הבנה רחבה ורגישה לשפה לגבי מראה תמונות. עבור כל ציור, ארבעת הזרמים האלה — צבע, שונות צבע, טקסטורה, ורושם סמנטי — נורמלו ואז שולבו לווקטור מאפיינים מאוזן יחיד, שיצר טביעת אצבע קומפקטית אך עשירה של האופי הוויזואלי של היצירה.

להניח לקבוצות להתגלות מעצמן

במקום להגיד למחשב איזה ציור שייך לאיזה אמן במהלך האימון, החוקרים השתמשו בגישה בלתי מפוקחת: הם ביקשו מהאלגוריתם לקבץ ציורים דומים בעצמו. תחילה, טכניקה בשם t‑SNE כסתה את טביעות האצבע מרובות המימדים לשתי ממדים כדי שאפשר יהיה להמחיש את המבנה הכולל. לאחר מכן K‑means חילק את הציורים לקבוצות קטנות רבות, שעם הזמן עברו זיקוק כדי להתמקד באשכולות המשמעותיים ביותר. רק לאחר תהליך זה הצוות סיווג את שמות האמנים, באמצעות הצבעה ברוב פשוט בתוך כל קבוצה, כדי לבדוק עד כמה האשכולות התיישבו עם הכותבים בפועל. הגרסה הטובה ביותר של השיטה — שמאזנת באופן שווה בין CLIP, צבע וטקסטורה — התאימה נכון ציורים לאמניהם בכ‑82% מהמקרים, והציגה ביצועים טובים יותר מגרסאות שהתבססו על מחוות יחידות כמו צבע בלבד או טקסטורה בלבד.

מה המחשב ראה בצבע ובעבודת המכחול

תוצאות הקיבוץ לא היו רק מספרים; הן יצרו סיפורים חזותיים שניתן להכיר. כאשר הצוות שרטט את האשכולות, רוב האמנים יצרו איים צפופים ומופרדים היטב של נקודות, כל אי מלא בעבודות מייצגות ששיתפו תכונות ברורות: נופי דיו מונוכרומטיים עם עבודת מכחול עדינה, אבסטרקטים גאומטריים נועזים בצבעים ראשוניים, או טבע דומם שקט עם קומפוזיציות יציבות וטקסטורות חוזרות. אצל אמנים שעבודתם נשענת על פלטת צבעים אופיינית — כגון שדות צבע בהירים או הרמוניות טונליות ספציפיות — מחוות צבע פשוטות כבר עבדו די טוב. אצל אחרים, כמו ציירי דיו או אקספרסיוניסטים עם עבודת מכחול דרמטית, טקסטורה ומידע סמנטי היו קריטיים. שגיאות בסיווג הופיעו לעיתים במקום שבו גם מומחים אנושיים היו מהססים: ציירים אבסטרקטיים עם קומפוזיציות דומות, או אמנים שחולקים קווים זורמים ובחירות צבע חופפות. במקרים אלה, הטעויות הפכו לרמזים על קרבה ויזואלית ממשית החוצה שמות שונים.

מנתונים להבנה אמנותית עמוקה יותר

ללא‑מומחים, המסקנה המרכזית היא שמחשב, המביט רק בתמונות דיגיטליות, יכול לשחזר הרבה ממה שההיסטוריונים של האמנות כבר יודעים מי צייר מה — ואפילו לרמז על קשרים בלתי צפויים. על ידי שילוב צבע, טקסטורה ורושמים סמנטיים שנלמדו, המסגרת מציעה דרך ברת חזרה ואובייקטיבית לקבץ ולהשוות יצירות של ציירים מודרניים ועכשוויים קוריאניים. היא אינה מחליפה שיפוט אנושי או את ההקשר התרבותי העשיר שמומחים מביאים, אבל היא מספקת מפתיות כמותית שיכולה לכוון את העין לאשכולות, לאזורי גבול ולקרובים חזותיים ששווה להביט בהם מקרוב. בכך, למידת מכונה הופכת לבן־לוויין חדש של אוצרים וצופים, המסייע להם לנווט באוספים גדולים ולגלות כיצד קולות רבים של האמנות המודרנית הקוריאנית שזורים יחד לנוף חזותי מורכב אך בר־ניתוח.

ציטוט: Baek, S., Park, SJ., Park, SE. et al. Toward enhanced unsupervised clustering of 20th century Korean paintings via multimodal features. npj Herit. Sci. 14, 76 (2026). https://doi.org/10.1038/s40494-026-02304-1

מילות מפתח: אמנות מודרנית קוריאנית, בינה מלאכותית, ניתוח סגנון ציור, קיבוץ תמונות, היסטוריה דיגיטלית של האמנות