מאגר נתונים לשיפור רזולוציה של וידאו באופרה המסורתית הסינית המבוסס על מיזוג השחיקה "בעולם-אמיתי+"

להחזיר לחיים סרטי אופרה ישנים

רבים מההקלטות של אופרה סינית מסורתית קיימות רק בצורת וידאו עדין ושאיכותי נמוכה. הזמן, האבק והעתקות חוזרות הטשטשו פרצופים, עייפו תלבושות ומילאו את הסצנות ברעשים חזותיים. מאמר זה מציג שיטה חדשה לניקוי והחדדה דיגיטלית של סרטים כאלה — לא על ידי שיקום ידני של כל סרט, אלא באמצעות בניית אוסף אימון מיוחד למערכות בינה מלאכותית. המטרה היא לעזור למחשבים ללמוד כיצד להפוך חומר מטושטש וזקן לתמונות ברורות וחיות יותר, ולשמר חלק חשוב מזיכרון התרבות העולמי.

למה סרטי אופרה ישנים נראים כל כך גרועים

האופרה הסינית המסורתית, כולל סגנונות מפורסמים כגון האופרה הפקינגית וקונצ'ו, מוכרת על-ידי אונסק"ו כחלק מהמורשת התרבותית המשותפת של האנושות. עם זאת, רבים מהסרטונים ששרדו עברו מסע ארוך וקשה. תחילה ציוד הצילום המקורי יצר טשטוש ורעש מצלמה. אחסון על סרטים, קלטות או דיסקים גרם לשריטות, עיוותים ואובדן נתונים. בסופו של דבר העתקות חוזרות, דחיסה לאינטרנט ושידור ברשת לא יציבה הוסיפו ארטיפקטים מרובעים, הבהוב ואיבוד פריימים. התוצאה היא לא רק טשטוש פשוט, אלא תערובת סבוכה של סוגי נזק שונים, שמקשה מאוד על שיטות השחזור לנחש כיצד נראתה הסצנה המקורית.

בניית זוגות של פריימים מטושטשים וברורים

שיטות מודרניות ל"שיפור-על" וידאו מאמצות מחשבים לחזות פריים חד ומפורט מתוך פריים באיכות נמוכה. כדי ללמוד מיומנות זו הן זקוקות להרבה דוגמאות שבהן פריים מטושטש תואם בדיוק לאותה סצנה באיכות גבוהה. אוספי אימון קיימים בדרך כלל מסתמכים או על נזקים מלאכותיים מפושטיים או על חומר מהעולם האמיתי שאינו מיושר בדיוק בין הגרסאות. המחברים יצרו משאב חדש בשם CTOVSR על בסיס ארבעה סרטי אופרה מסורתיים ששוחזרו מקצועית מסלילים מקוריים והגיעו לרזולוציה מאוד גבוהה. לאחר מכן הם מצאו גרסאות ברזולוציה סטנדרטית של אותן הופעות ששוחררו ברשת. העותקים האיכותיים הנמוכה עברו את כל תהליכי ההזדקנות בעולם האמיתי, מה שהפך אותם לתמונות "לפני" אידיאליות.

יישור כל פריים בקפידה

התאמת הסרטים המשוחזרים לאלו המזדקנים הייתה רחוקה מהיותה פשוטה. הבדלים בקצב פריימים, קטעים חסרים, חותמות מים נוספות, מסגרות שחורות ושינויי יחס ממדים פירושם ששיטות אוטומטיות פשוטות לא עבדו. הצוות חילץ מקטעים שימושיים ואז ביצע יישור קפדני בשלושה שלבים. תחילה השתמשו בכלי מותאם, eye_comparer, לתיקון ידני של בעיות תזמון כגון אובדן פריימים, פריימים בסדר שגוי ו"פריימים רוח" במעברים בין סצנות. לאחר מכן טיפלו בהתאמות המרחביות על ידי הצבת פריימים על גבי זה בעורך תמונות, יישור מדויק של התוכן וגזירת גבולות, לוגואים ותת־כיתובים תוך שמירה על כמה שיותר מהסצנה. לבסוף הפעלו בדיקה אוטומטית באמצעות מדד דמיון, ושמרו רק זוגות פריימים שהיו כמעט זהים במבנה. תהליך זה הפיק 250 זוגות רצפים באיכות גבוהה מהעולם האמיתי, המכסים מאות אלפי פריימים.

מיזוג נזק אמיתי עם שחיקה מדומה

למרות שבעזרת הזוגות המיושרים בקפידה תועדו שקיעות אמיתיות בעומק המציאות, הם עדיין לא הספיקו לכסות את כל המגוון של האופנים שבהם וידאו יכול להתפורר. כדי להרחיב את חומר האימון, המחברים הוסיפו רכיב שני: נזק סינתטי שהוטל על 41 סרטי אופרה נוספים ברזולוציה גבוהה. הם סימולצו נזק מרחבי—כמו טשטוש ורעש—באמצעות שרשרת דו-שלבית של שלבי השחטה, ונזק זמני על ידי דחיסת הווידאו באמצעות תקן ישן ונפוץ המשקף את האופן שבו רבים מהקבצים ברשת עובדו היסטורית. על ידי מיזוג החלק הסינתטי הזה עם הזוגות "בעולם-אמיתי+", הרכיבו את מאגר הנתונים CTOVSR, המכיל 900 זוגות קפדניים של וידאו באיכויות נמוכה־גבוהה, כל זוג נמשך 100 פריימים ומציג מגוון רחב של אופרות, סצנות ותנאי תאורה.

הוכחת הערך של האוסף החדש

כדי לבדוק האם CTOVSR באמת מסייע למחשבים לשחזר סרטים ישנים, המחברים אימנו מספר דגמי שיפור-על מהשורה הראשונה בעזרת המאגר בלבד. הם השוו את הפלטים לשיטות שינוי גודל פשוטות ומצאו שהמודלים המאומנים הפיקו תמונות הרבה יותר ברורות, עם פרטי תלבושות חדים יותר, איפור פנים קריא יותר ופחות ארטיפקטים גלויים. מחקר אבליישן הראה ששילוב של נזק אמיתי וסינתטי עלה בהרבה על שימוש בכל אחד מהם בנפרד. החוקרים גם ניסו את המודלים המאומנים על חומר חדש לחלוטין: קטעי אופרה מזדקנים שנמצאו ברשת ואף סרטוני הופעות מתרבויות אחרות, כגון אופרה איטלקית וריקוד קלאסי הודי. צופים אנושיים דירגו את הפריימים המשופרים גבוה משמעותית לעומת המקור או גרסאות מוגדלות בסיסיות, מה שמרמז שמודלים המאומנים על CTOVSR יכולים להכליל מעבר לחומר הספציפי שהוא מכיל.

להציל מורשת דרך נתונים חכמים

באופן פשוט, עבודה זו אינה מציגה אלגוריתם שיקום חדש נוסף; במקום זאת היא מציעה את "חומר התרגול" המוכן בקפידה שהאלגוריתמים צריכים כדי ללמוד. על ידי שילוב ממושך של העתקות פגומות עם גרסאות באיכות גבוהה של הקלטות אופרה מסורתיות ואז העשרתן עם בלאי מדומה ריאליסטי, מאגר CTOVSR נותן לבינה מלאכותית תחושה הרבה טובה יותר לאופן שבו סרטים ישנים מתפוררים וכיצד יש להראותם לאחר שיקום. גישה זו מספקת דרך מעשית לא רק להחיות חזותית את האופרה הסינית המסורתית, אלא גם להגן על צורות רבות אחרות של וידאו היסטורי שאין להן תחליף מפני היעלמות דיגיטלית.

ציטוט: Xi, W., Qin, B., Zhang, Y. et al. A Chinese Traditional Opera Video Super-Resolution Dataset Based on the “Real-world+” Degradation Fusion. Sci Data 13, 387 (2026). https://doi.org/10.1038/s41597-026-06776-5

מילות מפתח: שיפור-על וידאו, שימור מורשת דיגיטלית, אופרה סינית מסורתית, שחזור תמונה, מאגרי וידאו משחיתים