צביעת תמונות בעזרת למידת העברה עמוקה באמצעות VGG19 ו‑CLAHE

להחיות תמונות ישנות

רבים מאיתנו שומרים ארגזים של תמונות משפחתיות בשחור‑לבן או נהנים מסרטים קלאסיים ותיעודים וינטאג'. הדמיית איך הסצנות הללו נראו במציאות — שמיים כחולים, שדות ירוקים, גווני עור חמים — יכולה לקרב את העבר ולהפוך אותו למוחשי יותר. מאמר זה בוחן שיטה מחשובית חדשה שמוסיפה אוטומטית צבעים ריאליסטיים וניגודיות נעימה לתמונות גווני אפור, ומקלה על שחזור תמונות ישנות, רענון סרטים בשחור‑לבן ואפילו שיפור סריקות רפואיות, בלי הצורך שמומחה יצבע כל גוון ביד.

מצביעה ידנית למכונות חכמות

צביעת תמונות קשה יותר משזה נראה, כי גוון אפור יחיד יכול להתאים למגוון צבעים אפשריים: אפור בינוני יכול להיות לבנה אדומה, עלה ירוק או חולצה כחולה. כלים מוקדמים הסתמכו במידה רבה על הדרכה אנושית. אמנים יכלו לצייר “שרבוטי” צבע מהירים על חלקים מהתמונה, והתוכנה הפיצה את הרמזים לאזורים דומים. מערכות אחרות שאבו צבעים מתמונה ייחוס עם תוכן דומה. בעוד ששיטות אלה יכלו להיות משכנעות, הן קרסו כשההנחיה הייתה דלה, תמונת הייחוס לא התאימה בצורה מושלמת או הסצנה הייתה מורכבת. עם התפשטות הלמידה העמוקה, תוכניות חדשות למדו "לנחש" צבעים ישירות ממאגרי תמונות גדולים, וצמצמו את הצורך בעבודה ידנית אך דרשו זמן אימון עצום וכוח מחשוב רב.

מלמדים רשת איך העולם נראה

המחברים בונים על התקדמות זו באסטרטגיה הנקראת למידת העברה. במקום לאמן מערכת חדשה מאפס, הם מנצלים רשת חזון חזקה בשם VGG19 שכבר אומנה על מיליוני תמונות צבעוניות. לרשת זו יש שכבות רבות שעוברות בהדרגה מתבניות פשוטות כמו קצוות ומרקמים אל עצמים וסצנות שלמות: פנים, עצים, מבנים ושמיים. מערכת הצביעה מזינה גרסה בגווני אפור של תמונה ל‑VGG19 ואוספת תכונות ממספר שכבות בו‑זמנית, ויוצרת "מעין ערימה" עשירה של מידע לכל פיקסל. זה עוזר למודל להבין גם פרטים עדינים — כמו סיבי שיער או קצוות עלים — וגם הקשר רחב יותר, כגון האם הסצנה היא חוף, רחוב עירוני או יער. בזכות ההקשר הזה הרשת ממוקמת טוב יותר לבחור צבעים אמינים, לא רק אפשריים מתמטית.

להפוך אור וצל לצבע וניגודיות

כדי לייצב את החלטות הצבע, השיטה מייצגת תמונות במערכת צבע שמפרידה בין בהירות לתוכן הצבע. הקלט בגווני אפור משמש כערוץ הבהירות, בעוד שתפקיד הרשת הוא לנבא את שני הערוצים הנותרים שמקודדים שינויים עדינים בין אדום לירוק ובין כחול לצהוב. על ידי שמירה על הבהירות קבועה, המערכת שומרת על הצללה ומבנה התמונה המקוריים. לאחר שהרשת מפיקה את הניחוש הטוב ביותר שלה לגבי המידע החסר של הצבע, נעשה שלב שיפור סופי. כאן הכותבים משתמשים בטכניקה הנקראת התאמת היסטוגרמה אדפטיבית (CLAHE), המרחיבה מקומית את טווח הערכים בין אזורים כהים ובהירים. זה מבהיר מרקמים, מחדד קצוות והופך צבעים לעשירים יותר, מבלי "לכבות" אזורים בהירים או לאבד פרטים בצללים.

מבחנים בביצוע

כדי לבדוק עד כמה הגישה שלהם עובדת בפועל, החוקרים אימנו והעריכו אותה על מספר מאגרי תמונות ידועים הכוללים עצמים, סצנות, אנשים וסביבות יומיומיות. הם השוו את התוצאות שלהם עם מגוון שיטות מתחרות, כולל מערכות המונחות על‑ידי רמזי משתמש, מודלים גנרטיביים שמנסים להמציא תמונות ריאליסטיות ודגמי טרנספורמרים חדשים יותר. באמצעות מדדי איכות תמונה סטנדרטיים, השיטה שלהם הפיקה בעקביות צבעים חדים ונאמנים יותר ומבנים ברורים יותר, עם ביצועים חזקים במיוחד על אוסף קשה של צילומי סצנות. השוואות ויזואליות מראות שהתוצרים הצבועים שלהם לעיתים קרובות נראים קרובים יותר לתמונות הצבע המקוריות, עם רוויית צבע עשירה אך מבוקרת וניגודיות מאוזנת יותר. הם גם מציינים היכן השיטה מתקשה: תמונות חשוכות מאוד או בהירות מדי, או סצנות עם מרקמים לא שגרתיים וצבעים נדירים, עלולות עדיין להניב גוונים מוזרים או תאורה לא אחידה.

מה המשמעות של זה לתמונות יומיומיות

פשוטו כמשמעו, המחקר מראה שלהעניק למערכת צביעה חינוך מוקדם חזק על העולם הוויזואלי — ולאחר מכן לשפר את התוצאה בקפידה — יכול לייצר תמונות שמראות טבעיות יותר לעין האנושית. על ידי ניצול רשת גדולה שאומנה מראש והוספת שלב חכם לחיזוק הניגודיות, המחברים מספקים כלי מעשי שיכול להחיות צילומים היסטוריים, להעשיר סרטים בשחור‑לבן ולהקל על פירוש סוגים מסוימים של תמונות רפואיות. למרות שאינו מושלם ועלול להתקשות בתאורה קיצונית או בסצנות יוצאות דופן מאוד, גישה זו מקרבת את הצביעה האוטומטית למשהו שגם לא מומחים יכולים להסתמך עליו, ומביאה צבע ריאליסטי להישג יד לשימושים יומיומיים רחבים.

ציטוט: Ghosh, N., Mandal, G. Deep transfer learning based image colorization using VGG19 and CLAHE. Sci Rep 16, 9528 (2026). https://doi.org/10.1038/s41598-026-40292-1

מילות מפתח: צביעת תמונות, למידה עמוקה, למידת העברה, שחזור תמונות, שיפור ניגודיות