זיהוי תמונות של מורשת תרבותית רב-מוכוונת מבוסס שילוב רב-מפעיל קוואנטי וקלאסי

מדוע חשוב ללמד מחשבים על אוצרות עתיקים

אוצרות תרבותיים במוזיאונים וארכיונים מצולמים ומועלים ברשת בקצב גובר, אך רוב התמונות הללו מתויגות בצורה לקויה או שלא מתויגות כלל. זה מקשה על מבקרים, מורים וחוקרים למצוא את המבוקש — ומצמצם עד כמה הציבור יכול לחקור לעומק את המורשת המשותפת של האנושות. מאמר זה חוקר שיטה חדשה לזיהוי ומיון אוטומטי של תמונות כאלה על ידי שילוב שתי רעיונות שלעתים רחוקות נפגשים: אוספי מוזיאון ומחשוב קוואנטי.

ממחסני אבק לאוספים דיגיטליים

מוזיאונים כיום מאחסנים מיליוני פריטים, מברונזה ולקר ועד גלימות רקומות. מוסדות רבים ממהרים לדגיטציה של המאגרים כדי שכל אדם עם חיבור אינטרנט יוכל לעיין בהם. אך לאחר שהתמונות מגיעות לאינטרנט יש למקם אותן בקטגוריות המתאימות — כגון אמייל, ירקן (jade), משי או Brocade — כדי שיהיו שימושיות באמת. כלי בינה מלאכותית קונבנציונליים בדרך כלל מסתכלים רק על הפיקסלים בכל תמונה. הם מתעלמים מתיאורים כתובים עשירים שמורטורנים והיסטוריונים מצרפים לפריטים, אף על פי שתיאורים אלו לעתים מזומנות מזכירים חומרים, צבעים ודימויים שאינם ברורים לעין. ככל שהאוספים גדלים, אלגוריתמים קלאסיים נתקלים גם בקשיים במהירות, בצריכת אנרגיה ובמורכבות.

שילוב תמונות עם מילים — ביטים עם קיוביטים

המחברים מציעים מודל שהם קוראים לו מודל השילוב הרב-מוחשי קוואנטי־קלאסי. "רב-מודלי" פשוט אומר שהוא מתייחס ביותר מסוג אחד של מידע בו־זמנית — במקרה זה, גם לתמונה של הפריט וגם לכיתובו. ראשית משתמשים בכלים מבוססים ומוכחים שאומנו על מערכי נתונים עצומים: רשת תמונה עמוקה לתפיסת צורות ומרקמים, ודגם שפה לתפיסת משמעות הכיתוב. מנגנון תשומת לב מיוחד לומד אילו אזורים בתמונה נוטים להתאים לאילו מילים. למשל, כאשר הכיתוב מזכיר "דרקון מוזהב", המודל לומד למקד אזורים בצבע זהב בצורת דרקון. זה מייצר תיאור משותף המשלב ראייה ושפה.

מתי מעגלים קוואנטיים מערבבים את האותות

לאחר שמופקות התכונות מהתמונה ומהטקסט, המודל מזין אותן למעגל קוואנטי מדומה קטן. מאחר שחומרת הקוואנטום הנוכחית כוללת רק מספר מצומצם של קיוביטים, המחברים מכווצים את המידע באמצעות סכימה שאורזת ערכים קלאסיים רבים לאמפליטודות של מעט קיוביטים. בתוך החלק הקוואנטי הם מעצבים מעגל בשתי שלבים שמחיל שוב ושוב סיבובים על קיוביטים בודדים ואחר כך מסבך אותם — מה שמכריח את מצבי הקיוביטים להפוך לתלויים זה בזה. מבנה זה מיועד לחשוף יחסים עדינים בין דפוסי חזות לרמזי כיתוב שעשויים להחמיץ אחרת. לאחר עיבוד קוואנטי זה נמדד מצב הקיוביטים ומומר חזרה למספרים רגילים, שמועברים אחר כך לממיין סופי החוזה את קטגוריית הפריט.

בדיקת הגישה החדשה

כדי לבדוק האם שיטתם מציעה יתרון ממשי, החוקרים הרכיבו שני מערכי נתונים חדשים מהארמון המוזיאון: אחד של חפצים פיזיים כגון אמייל, עבודות זהב וכסף, לקה (lacquer), ברונזה וירקן, ואחד נוסף המתמקד בטקסטילים כמו משי, סאטן, brocade וסגנון האריגה המורכב הידוע כ-kesi. לכל תמונה מצורף כיתוב רשמי ותווית מהימנה מהרשומות של המוזיאון. הם השוו את מודל השילוב הקוואנטי–קלאסי שלהם עם טווח מתחרים חזקים, כולל מערכות תמונה טהורות, מערכות טקסט טהורות וטכניקות אחרות שמשלבות את השניים. בשני מערכי הנתונים המודל החדש השיג את הציונים הגבוהים ביותר בדיוק ובמדדים קשורים, ועלה אפילו על בסיסים מתקדמים רב-מודליים ומושפעים קוואנטית. ניסויים נוספים הראו כיצד ביצועיו תלויים במספר הקיוביטים ובעומק המעגל, וכי הוא נשאר אמין גם כאשר סוגי רעש קוואנטי שכיחים מוכנסים בסימולציה.

ממה זה עשוי להצביע למבקרי מוזיאונים בעתיד

עבור קהל שאינו מומחה, המסר המרכזי הוא ששילוב תמונות, מילים ועיבוד בהשראה קוואנטית יכול לשפר את יכולת המחשבים להבחין בין סוגים שונים של חפצי תרבות. למרות שהחלקים הקוואנטיים כרגע מורצים בסימולטורים ולא על מכונות קוואנטיות בקנה מידה מלא, המחקר מציע דרך לעבר כלים יעילים ובעלי הבעה גבוהה יותר ככל שהחומרה תתפתח. במונחים מעשיים, מערכות כאלה יכולות לסייע למוזיאונים וארכיונים למיין באופן אוטומטי העלאות חדשות, לנקות רשומות ישנות, ולהקל על אנשים למצוא למעשה "כלי פולחן ירקן" או "גלימות דרקון רקומות". העבודה מרמזת שמחשוב קוואנטי עלול להפוך לדרך שימושית חדשה להבנת ושימור המורשת התרבותית בעידן הדיגיטלי.

ציטוט: Fan, T., Wang, H., Zhao, Y. et al. Multimodal cultural heritage image recognition based on quantum and classical multimodal fusion network. npj Herit. Sci. 14, 160 (2026). https://doi.org/10.1038/s40494-026-02419-5

מילות מפתח: תמונות של מורשת תרבותית, למידת מכונה קוואנטית, שילוב רב-מודלי, דיגיטציה של מוזיאונים, זיהוי תמונה