מראת קסם תלת־ממדית: שיחזור בגדים מתמונה אחת מנקודת מבט סיבתית

להתלבש בלי חדר המדידות

דמיינו שלוחצים צילום מלא־גוף אחד עם הטלפון ומיד רואים את עצמכם בתלת־ממד, מסוגלים לסובב את התמונה, לשנות זוויות צפייה או אפילו להחליף לבוש עם חבר. המאמר הזה מתמודד עם הבעיה הטכנית המרכזית מאחורי ה"מראת הקסם התלת־ממדית": המרת תמונה דו־ממדית רגילה של אדם לבוש לדגם תלת־ממדי מפורט של הבגד, ללא צורך בסריקות תלת־ממד יקרות או בצילומי סטודיו מבוקרים.

למה המרת תמונות דו־ממד לתלת־ממד כל כך מסובכת

הפיכת תמונה שטוחה לאובייקט תלת־ממדי היא חידה קלאסית. מערכות קיימות לעתים קרובות מתחילות מתבנית גוף דיגיטלית קבועה ומעוותות אותה כדי להתאים לתמונה. זה עובד די טוב לחלקים נוקשים של הגוף כמו זרועות ורגליים, אבל נכשלים עם שמלות זורמות, מעילים מת Draped, שיער או תיקים שאינם עוקבים אחרי צורה סטנדרטית ופשוטה. מכשול נוסף הוא הנתונים: יש מיליוני תמונות אופנה באינטרנט, אבל כמעט ואין אוספים גדולים של בגדים תלת־ממדיים מדודים במדויק לאימון. לבסוף, תמונה בודדת מסתירה מידע חשוב. מעיל קטן קרוב למצלמה יכול להראות זהה למעיל גדול יותר הרחוק יותר, ותאורה ודוגמת בד גם כן עלולים לבלבל אלגוריתם למידה. עמימותות אלה מקשות על רשת עצבית "לנחש" את המבנה התלת־ממדי הנכון.

ללמד בינה להפריד סיבה ותוצאה

במקום לראות את הבעיה כמיפוי תיבת־שחורה מפיקסלים ל־3D, המחברים שואבים רעיונות מהסקת סיבה ותוצאה—המתמטיקה של גורמים ותוצאות. הם רואים את התמונה הסופית כתוצר של ארבעה גורמים חבויים: מיקום המצלמה, צורת הבגד, המרקם שלו (צבעים ודפוסים) ואופן התאורה. "מפת סיבתיות מבנית" מיוחדת מפרטת איך גורמים אלה משתלבים כדי לייצר את התמונה הנצפית. בהנחיית מפה זו, המערכת משתמשת בארבעה מקודדים נפרדים, כל אחד אחראי על גורם אחד. יחד עם מנגנון רנדר תלת־ממדי בהשראת פיזיקה הם יוצרים לולאה: תמונה ומסכת החזית נכנסים, רשת תלת־ממדית צבועה יוצאת, ואז היא מוקרנת חזרה לתמונה שניתן להשוותה למקור.

לולאת למידה שמתקנת דבר אחד בכל פעם

גם עם מקודדים נפרדים, האימון עלול להשתבש. אם השחזור אינו מדויק, לא ברור איזה מקודד אשם, ולמידה רגילה נוטה לכוונן את כולם בבת אחת. המחברים מתייחסים לזה כאל בעיית "קוליידר" קלאסית בסיבתיות, שבה גורמים שונים עלולים לפצות זה על זה באופן שגוי. הפתרון שלהם הוא לשזור שני לולאות צפייה–מקסימיזציה לאימון. בלולאה הראשונה, שלושה מקודדים מוקפאים באופן זמני בעוד הרביעי מעודכן לבד, כך שהשגיאות מובררות והרכיב הלומד מגלם תפקיד נקי יותר. בלולאה השנייה, צורת 3D "פרוטוטיפית" משותפת—המתחילה ככדור פשוט—מעודכנת בהדרגה כדי להפוך לצורת האדם או הציפור הממוצעת בנתונים. דוגמאות פרטניות לומדות רק סטיות קטנות מהפרוטוטיפ הזה, בעוד מודול המצלמה לוקח על עצמו את האחריות המלאה לגודל או למרחק שהאובייקט נראה, ובכך מתמודד ישירות עם הבלבול בין גודל למרחק.

מתמונות אופנה לציפורים, ומעבר לכך

כדי לבדוק את הגישה שלהם, החוקרים מאמינים על שני אוספי אופנה גדולים שמכילים תמונות רחוב רגילות ועל אוסף סטנדרטי של תמונות ציפורים. חשוב: הם משתמשים רק במסכות חזית דו־ממדיות, לא ברשתות תלת־ממד אמיתיות כקרקע־אמת. לגבי בגדי אדם, המערכת שלהם עוקפת שיטות פופולריות שמתבססות על תבניות גוף בהתאמת מתארי הבגדים ומתמודדת בנאמנות גבוהה יותר עם אלמנטים לא־נוקשים כמו שיער ותיקים. לגבי ציפורים, היא מגיעה או עולה על איכות של שיטות מובילות לשחזור 3D מתמונה בודדת תוך יצירת זוויות צפייה חדשות ריאליסטיות יותר. הדגמים התלת־ממדיים גמישים מספיק לתמוך ביישומים שובבים, כגון החלפת מרקמי בגדים בין אנשים או יצירת נתוני אימון סינתטיים לשיפור מערכות זיהוי אישים בשימוש במחקר מעקב.

מה זה אומר לעולמות הדיגיטליים של היומיום

ללא־מומחים, המסר המרכזי הוא שמדמויות תלת־ממד משכנעות וכלים להתאמה וירטואלית כבר לא דורשים סורקי 3D יקרים או תבניות נוקשות. על־ידי מודליזציה מפורשת של סיבה ותוצאה—הפרדה בין מצלמה, צורה, מרקם ואור וקיבועם לפרוטוטיפ משותף—המחברים מראים כיצד מערכת יכולה "להסביר" תמונה בודדת כסצנה תלת־ממדית. אף שהשיטה עדיין מתקשה בזוויות שמעולם לא נראו, כמו הגב של אדם שיצולם רק מקדימה, היא מציינת צעד משמעותי לעבר מראות קסם תלת־ממדיות מעשיות שעובדות על התמונות המטונפות והלא־ממוסגרות שלעיתים קרובות אנו צולמים בפועל.

ציטוט: Zheng, Z., Zhu, J., Ji, W. et al. 3D Magic Mirror: clothing reconstruction from a single image via a causal perspective. npj Artif. Intell. 2, 29 (2026). https://doi.org/10.1038/s44387-026-00082-6

מילות מפתח: התאמה וירטואלית, שחזור תלת־ממדי, למידה סיבתית, ראייה ממוחשבת, אינטליגנציה מלאכותית באופנה