הגדלה מונחת-נאמנות של נתונים למודל שפה גדול מולטי-מודלי בהבנת מורשת אדריכלית

מדוע מבנים ישנים זקוקים לעזרים דיגיטליים חכמים

בערים היסטוריות רבות נעלמות רחבות קמרונות מרשימות וחזיתות בניינים מזדקנות או עוברות שיפוץ רדיקלי. מומחים מנסים לתעד ולהגן על המורשת האדריכלית הזו, אך העבודה איטית ודורשת ידע מעמיק בסגנון, במבנה ובהיסטוריה. המחקר הזה בוחן כיצד סוג חדש של בינה מלאכותית—מודלים גדולים מולטי-מודליים היכולים לקרוא תמונות וטקסט—יכול לסייע, ואיזה סוג של נתוני אימון מותאמים בקפידה הם צריכים כדי להבין באמת מבנים ישנים במקום רק לנחש לגביהם.

כשבינה מלאכותית מסתכלת על מבנים וטועה

המחברים מתחילים בבחינת כמה מערכות בינה מלאכותית מתקדמות על תמונות של ארקדות חנויות היסטוריות בגואנגג'ואו, סין. מבנים אלה, הידועים כ-Qilou, משלבים השפעות סיניות ומערביות ויוצרים חזיתות רחוב ארוכות ומתמשכות. מומחים יצרו אבן-בדיקה של 50 תמונות חזיתות ואלפי שאלות רב-ברירתיות על מה שמופיע בכל סצנה: כמה קומות חורגת המרפסת, האם תומכי קישוט מסוימים הם מסוג זה או אחר, מאיזה חומר מסגרות החלונות עשויות וכיצד להעריך נזקים. אפילו המערכות המסחריות הטובות ביותר, כולל חלק מהדגמים הגדולים הזמינים, קוראות את התמונות באופן שגוי לעיתים קרובות—ממקמות מרפסות בקומה הלא נכונה, מבלבלות אלמנטים אדריכליים מרכזיים או מכנות חלונות אלומיניום מודרניים "עץ" בעיקר על בסיס צבע.

פירוק הדרך שבה אנשים קוראים חזית

כדי להבין את הכשלים הללו, החוקרים מיפו את פרשנות המורשת לשלוש מיומנויות דמויות-אנוש. הראשונה היא תפיסה חזותית: הבחנה במה שנמצא, למשל חלונות, עמודים וחומרי משטח. השנייה היא היגיון מרחבי: הבנת האופן שבו חלקי החזית מסודרים ומתחזקים, כולל סימטריה וקצב אופקי ואנכי של פתחים. השלישית היא היגיון הקשרי: קביעה מה מצב הבניין וההיסטוריה שלו מרמזים, למשל האם לקילוף צבע יש משמעות של הסרדרות חמורה או רק בלאי קל. המבחנים שלהם מראים שמערכות ה-AI של היום מתקשות בעיקר במיומנויות השנייה והשלישית—תכנון מרחבי מדויק ופירוש דק—כי הן כמעט ולא נחשפו לדוגמאות מורשת מתויגות בקפידה בזמן האימון.

ללמד בינה מלאכותית עם תמונות מדומות שעדיין משקפות אמת

איסוף פשוט של עוד תמונות אמיתיות ותוויות מומחים יהיה יקר עד מאד. במקום זאת, הצוות בונה "מגבר" נתונים שיוצר תמונות חזית משכנעות סינתטיות יחד עם צמדי שאלות–תשובות תואמים. הרעיון המרכזי הוא לטפל בשני היבטים של חזית בנפרד: השלד המרחבי שלה (הסידור המדויק והפרופורציות של פתחים וקישוטים) והטעם הסמנטי שלה (חומרים, סגנון היסטורי והזדקנות). באמצעות מנוע יצירת תמונה מודרני, הם מוסיפים מודול מיוחד שנועל את הגיאומטריה על ידי מעקב אחר מפות קצוות הנשרטות מבניינים אמיתיים, ואחר שמווסת פרטי סגנון דרך מתאמים קלים המאומנים על קבוצות סגנון קטנות וקוהרנטיות. על ידי ערבוב והתאמה של פריסות וסגנונות, המערכת מייצרת יותר מ-1,400 וריאציות חזית חדשות מתוך 208 מקורייות בלבד, תוך שמירה על המראה והתחושה מקוריים ומבוססים במציאות האדריכלית.

בדיקה האם העולם הסינתטי תואם את העולם האמיתי

המחברים שואלים אז: האם החזיתות המלאכותיות האלה מתנהגות כמו נתוני מורשת אמיתיים? הם משווים דמיון מבני, קירבה סמנטית במרחב תכונות נלמד, ושיפוטי מומחים אנושיים. ציונים כמותיים מראים שמודול הממוקד במבנה משפר באופן חד את ההתאמה בין פריסת המבנים הסינתטיים לבין דוגמאות אמיתיות, בעוד שמודול הממוקד בסגנון מגביר גיוון מבלי לסטות מאופי אזורי אותנטי. מבקרים מומחים מדרגים את התמונות המוגברות כאמינות וממושמעות בסגנון הרבה יותר מאלה שמיוצרות על ידי גנרטור סטנדרטי, וחשוב מכך, מוצאים שהן שומרות על מספיק פרטים למענה אמין על שאלות לגבי חומרים, אלמנטים ונזקים.

מודלים מכוונים קטנים שמעלים על הדגם הכללי הגדול

מצוידים במאגר הנתונים המורחב הזה, הצוות מלקוחות דגם פתוח ממדי ראייה–שפה בגודל בינוני, ואז בוחן אותו באבני-בדיקה מעורבות של חזיתות סיניות ואירופיות. למרות שיש לו פרמטרים פנימיים רבים פחות ממערכות מסחריות מובילות, הדגם המכוון עכשיו מפיל אותן ברוב סוגי המשימות, במיוחד בקריאת סימטריה, ספירה ותיאום אלמנטים, והבחנה בחומרים. ביקורות מומחים על ההסברים שלו שלב אחרי שלב מראות מעבר מ"הלוצינציות" הפרועות להתנהלות מונעת-מבנה ומודעות לבניין: הדגם מצטט ראיות חזותיות ממשיות, מיישם כללים אדריכליים בעקביות רבה יותר ועושה פחות קפיצות לוגיות. ניתוח השגיאות שנותרו מצביע על חזיתות חדשות לשיפור—כגון ייצוג טוב יותר של עיוותי פרספקטיבה וקידוד תקנים מקצועיים לזמנים שבהם בלאי נראה דורש התערבות בפועל.

כיצד זה מסייע בהגנה על רחובות היסטוריים

לקורא שאינו מומחה, המסר העמוק הוא שבעצם יותר כוח בינה מלאכותית לבדו אינו מספיק כדי לשמר מורשת אדריכלית. מה שחשוב לפחות במידה זהה הוא נאמנות ומבנה הנתונים שאנו מספקים למערכות אלו. על-ידי יצירת חזיתות סינתטיות ששומרות בקפידה על גיאומטריה ומשמעות של מבנים אמיתיים, המחקר מראה כיצד דגם קטן ונגיש בקוד פתוח יכול להפוך לשותף אמין יותר למומחים. מערכות כאלה עשויות בסופו של דבר לסרוק שכונות שלמות, לסמן שינויים מסוכנים ולתמוך בהחלטות תיקון בקנה מידה גדול, ולסייע לערים לשמור על חזיתותיהן ההיסטוריות המיוחדות בפני שינויים מהירים.

ציטוט: Huang, R., Lin, HC. & Zeng, W. Fidelity-driven data augmentation for multimodal large language model on architectural heritage interpretation. npj Herit. Sci. 14, 179 (2026). https://doi.org/10.1038/s40494-026-02446-2

מילות מפתח: מורשת אדריכלית, בינה מלאכותית מולטי-מודלית, הגדלת נתונים, חזיתות היסטוריות, שימור תרבותי