זיהוי חכם של דוגמאות בארנקים רקומים: השוואת סדרת YOLO ו‑RT‑DETR

מדוע ארנקים רקומים ישנים חשובים כיום

בכל רחבי סין, ארנקים קטנים רקומים נשאו בעבר עשבי מרפא, חפצי מזל ומשאלות לטובת מזל. כיום רבים שרדו רק במגירות מוזיאונים ובאוספים פרטיים. כל פרח או דרקון תפור קטן מקודד סיפורים על אמונות, אופנה וחיי היומיום. עם זאת, דיגיטציה וקטלוג ידני של הפריטים המעוטרים האלה איטיים מאוד. במאמר זה נחקר כיצד בינה מלאכותית מודרנית יכולה לזהות באופן אוטומטי את הדגמים על ארנקים אלה — ובכך לסייע למוזיאונים ולקהילות לשמר חוט חשוב של מורשת תרבותית בלתי מוחשית בעידן הדיגיטלי.

מהעין והיד לזיהוי חכם

באופן מסורתי, מומחים זיהו עיצובים על ארנקים בבחינה מדוקדקת של תמונות והתייעצות בספרות עיונית. גישה זו לא מתאימה להיקפים של עשרות אלפי פריטים הפזורים בארכיונים. החוקרים במקום זאת הרכיבו מאגר תמונות מיוחד של 783 ארנקים רקומים שנשאבו מספרים וארכיון דיגיטלי של מוזיאון גדול. הם הגדירו שמונה קטגוריות מוטיב נפוצות – כולל צמחים ופרחים, עופות ובעלי חיים, חרקים וחיים ימיים, נופים ובניינים, סמלים וכתבים, דמויות וסיפורים, חפצי עתיקות ומסמכים, ודפוסים גיאומטריים – ואז סימנו בקפידה תיבות מסביב לכל מוטיב בכל תמונה. כדי להתמודד עם הקטנות של מערך הנתונים, הם הפכו דיגיטלית את התמונות, סובבו, הבהירו, הכהו וטישטשו אותן, והרחיבו את חומר האימון ביותר מארבע פעמים תוך בדיקת התוויות באמצעות תוכנה ומומחי מורשת תרבותית.

מבחן כלים פופולריים של בינה מלאכותית

עם מאגר מסונן זה בידי החוקרים השוו שתי משפחות של מערכי זיהוי אובייקטים. משפחה אחת, הידועה בשם YOLO, שימושית למשימות מהירות כגון זיהוי הולכי רגל או מכוניות בווידאו. מודלים אלה מסתכלים על התמונה בעברה אחת ותלויים מאוד בחתכים מקומיים. העיצוב האחר, חדשני יותר וקוראים לו RT‑DETR, משלב מסנני תמונה מקובלים עם תשומת לב בסגנון טרנספורמר, שיכולה לקשר תפרים זעירים להקשר הכולל. המחברים קודם כיוונו מספר וריאציות של YOLO ובחרו ב‑YOLOv5m כבסיס חזק. הוא הראה ביצועים סבירים בקטגוריות מסוימות – במיוחד בסצנות נרטיביות מורכבות תחת «דמויות וסיפורים» – אך התקשה כאשר המוטיבים היו קטנים, חופפים בצורה כבדה או בלויות ברקע. במקרים כאלה פרחים עלולים להיעלם, גבולות גיאומטריים נקראו בצורה שגויה וחלקים מהתמונה תויגו בטעות כרקע ריק.

כיצד טרנספורמר היברידי רואה את התפרים

החוקרים כיוונו אז לשדרג את RT‑DETR לאתגר הוויזואלי הייחודי הזה. הם החליפו את שלד הרשת הרגיל שלו ב‑ConvNeXt‑Large, רשת קונבולוציונית מודרנית שנועדה לתפוס מרקמים עדינים ועדיין לראות את התמונה הכוללת. הם גם אימצו אסטרטגיית אימון שנקראת Focal Loss, שמבקשת מהמודל לשים דגש נוסף על דוגמאות קשות וקלות לבלבול במקום להסתמך על דוגמאות קלות. בתוך RT‑DETR נחצבו תכונות מהתמונה בכמה סקלות ואוחדו, בעוד שמנגנון תשומת הלב מקשר אזורים מרוחקים אך קשורים, כמו זוגות בעלי חיים תואמים או גבולות חוזרים. באמצעות מחקרי אבלציה קפדניים וכיוון של שלבי למידה ויסות, המחברים הגיעו לתצורה מותאמת שמאזנת בין דיוק ויציבות לאורך ריצות אימון רבות.

מה המערכת המשודרגת משיגה בפועל

נמדד על פי מדדי זיהוי אובייקטים סטנדרטיים, RT‑DETR המשודרג הבטיח באופן ברור מעל דגמי YOLO. מדד הדיוק הראשי שלו, mAP@0.5, הגיע ל‑0.5433 – שיפור של כ‑33% על פני הבסיס YOLOv5m – עם סטטיסטיקה שמראה שסביר להניח שהרווח אינו מקרי. המערכת הצטיינה במיוחד בסצנות נרטיביות מורכבות, והשיגה דיוק ממוצע של 0.833 ב«דמויות וסיפורים», ושחזרה מוטיבים רבים ש‑YOLO פיספס, במיוחד בקטגוריות דלות או מיוצגות פחות כגון נופים וגבולות גיאומטריים. היא גם הראתה עקביות גבוהה יותר בריצות חוזרות, מה שמעיד על התנהגות אמינה ולא על התאמה יתר רופפת לפיצול אימון‑מבחן בודד. תמורת זאת ייתכן מחיר בגודל: דגם ה‑RT‑DETR הטוב ביותר גדול וכבד הרבה יותר מהמקבילים ב‑YOLO, מה שעלול להגביל פריסה על מכשירים קלים.

מה זה אומר עבור מורשת תרבותית

עבור הלא‑מומחים, הנקודה המרכזית היא שמחשבים לומדים לא רק למצוא מכוניות ופנים, אלא גם לקרוא את שפת המלאכה המסורתית. בהדגמה שגלאי מבוסס‑טרנספורמר, מותאם ומאומן בקפידה, יכול לזהות מוטיבים רקומים צפופים וחופפים בדיוק רב יותר מאשר מודלים פופולריים בזמן אמת, עבודה זו מציבה קו בסיס לכלים עתידיים. מוזיאונים ומוסדות תרבותיים עשויים בסופו של דבר להשתמש במערכות כאלו לחיפוש אוספי תמונות עצומים לפי מוטיב, למעקב אחרי האבולוציה של סמלים מסוימים, או לסיוע לאומנים בשחזור עיצובים ישנים. המחברים מדגישים שהביצועים עדיין מתונים ושיפורים נוספים — כולל מודלים קלים יותר והוספת ידע תרבותי ותיאורי טקסט — נדרשים לפני פריסה רחבת היקף. אף על פי כן, המחקר מהווה צעד משמעותי לקראת שמירה דיגיטלית חכמה ומכבדת של מורשת הארנקים הרקומים.

ציטוט: Yang, H., Sui, Q., Xie, H. et al. Intelligent recognition of embroidered purse patterns: comparing YOLO series and RT-DETR. npj Herit. Sci. 14, 251 (2026). https://doi.org/10.1038/s40494-026-02518-3

מילות מפתח: זיהוי דגמי רקמה, מורשת תרבותית בלתי מוחשית, זיהוי אובייקטים, חזון מבוסס טרנספורמר, שימור דיגיטלי