מערך נתוני פנים תלת־ממדי עם טופולוגיה מאוחדת, מגוון רגשות ויחידות פעולה לאוכלוסייה מזרח־אסייתית

מדוע פנים דיגיטליות חשובות

משיחות וידאו ועד מציאות מדומה, חיינו מלאים בפנים דיגיטליות. עם זאת, מערכות המחשב מאחורי הפנים הללו מאומנות לעתים על נתונים מוגבלים, לעתים מתמקדות באוכלוסיות מערביות וטווח מצומצם של הבעות. מאמר זה מציג את AST-Face, מערך פנים תלת־ממדי חדש המתמקד במבוגרים צעירים מזרח־אסייתיים ושואף לספק לחוקרים אבני בניין טובות יותר לאנימציה, מחקר רגשות ואינטראקציה אדם־מחשב.

מה כולל האוסף החדש של הפנים

מערך הנתונים AST-Face מכיל סריקות תלת־ממד מפורטות של 98 משתתפים מזרח־אסייתים בגילאי 18–30. עבור כל אדם הקבוצה תיעדה פנים נייטרליות, שש הבעות נפוצות (שמחה, כעס, עצב, הפתעה, פחד וגועל), ותשעה תנועות פנים מבוססות שרירים ספציפיות. תנועות אלה עוקבות אחרי מערכת מוכרת המפרקת הבעות ליחידות פעולה קטנות, כגון הרמת הגבות הפנימיות או משיכת פינות הפה. תת־קבוצה של מתנדבים גם אפשרה צילומי צבע מסונכרנים משלוש זוויות מצלמה, מה שיצר מקור עשיר יותר למחקרים המשלבים צורה תלת־ממדית ותמונות רגילות.

כיצד הפנים נתפסו ונוקו

כדי להפוך את הנתונים לאמינים ולהשוותם זה לזה, החוקרים בנו מערכת הקלטה מבוקרת בקפידה. סורק תלת־ממדי בעל דיוק גבוה תיעד פרטים עדינים של כל פנים בעוד שלוש מצלמות צבע צולמו משמאל, מרכז ומימין. תאורה מתכווננת צמצמה צללים והסתנוורות, ומכשיר מיקום סייע למשתתפים להחזיק תנוחה יציבה. כולם עקבו אחרי תסריט הקלטה זהה: תחילה פנים נינוחות ונייטרליות, אחר כך שש ההבעות, ולבסוף תשע יחידות הפעולה, כל אחת בהנחיית צוות מאומן. לאחר מכן הסריקות הגולמיות עובדו על ידי חיתוך רקע וצוואר, יישור תנוחת הראש, תיקון תכונות פני השטח וחילוץ 84 נקודות ציון סטנדרטיות על כל פנים.

להפוך כל פנים להשוואה

אתגר מרכזי במחקר על פנים תלת־ממד הוא שהסריקות הגולמיות אינן חולקות את אותה מבנה דיגיטלי. הן יכולות להשתנות במספר הנקודות ובהיקשרות ביניהן, מה שמקשה להשוות חיוך של אדם אחד לזה של אחר. AST-Face מתמודד עם זאת על ידי העברת כל סריקה דרך תהליך יישור דו־שלבי. ראשית, מותאם מודל פנים גמיש לתפוס תנועות גדולות כגון פה פתוח והעלאת גבות. לאחר מכן אלגוריתם התאמה מתקדם מעוות בעדינות תבנית־תבנית משותפת כך שלכל הפנים הסופיות יהיו אותו מספר נקודות וקישוריות זהים. מבנה אחיד זה מאפשר לחוקרים להשוות פנים נקודה־אחר־נקודה בין אנשים והבעות ללא צורך לפתח צנרת קדם־עיבוד מורכבת משלהם.

למטרות שימוש בנתונים

מערך הנתונים המוגמר מציע שכבות מידע מרובות: רשתות תלת־ממד סטנדרטיות, נקודות ציון, מפות מפורטות שמראות כיצד כל הבעה שונה מהפנים הנייטרליות, ותוויות מאומתות לכל רגש ויחידת פעולה. קבצים הנגישים באופן ציבורי אינם כוללים מרקמים מזוהים, בעוד סריקות גולמיות ותמונות צבע זמינות תחת הסכם שימוש בנתונים על מנת להגן על פרטיות המשתתפים. במבנה זה AST-Face יכול לתמוך במגוון רחב של עבודות, מאנימציה פנים טבעית יותר המונעת על ידי בקרות הדומות לשרירים, דרך מודלי למידת מכונה החוקרים כיצד הבעות משתנות בין יחידים, ועד מערכות חוצות־מדיומים המקשרות צורה תלת־ממדית ותמונות דו־ממדיות.

מה משמעות הדבר עבור פנים דיגיטליות עתידיות

באופן פשוט, AST-Face מספק לחוקרים אוסף איכותי ומאורגן היטב של פנים תלת־ממד מזרח־אסייתיות שכולן מדברות את אותה שפה דיגיטלית. על ידי שילוב הבעות מגוונות, תוויות מבוססות שריר שנבדקו בקפידה ומבנה רשת משותף, מערך הנתונים מקל על בנייה ובחינה של אלגוריתמים הזקוקים לתנועות פנים עקביות וריאליסטיות. למרות שהוא מתמקד בקבוצת גיל מסוימת ובהבעות מצוידות בתאורה מבוקרת, הוא מסייע לצמצם פערים דמוגרפיים במשאבים קיימים ומניח יסוד ברור יותר לפנים דיגיטליות מדויקות ומכלילות יותר בעתיד.

ציטוט: Zhao, Y., Gong, G., Li, Y. et al. A Topology Standardized 3D Facial Dataset with Emotion and Action Unit Diversity for East Asians. Sci Data 13, 735 (2026). https://doi.org/10.1038/s41597-026-07098-2

מילות מפתח: מערך נתוני פנים תלת־ממדי, הבעות פנים, פנים מזרח־אסייתיות, יחידות פעולה, אחידות טופולוגית