למידה מרובת תחומים ומולטימודלית לחיזוי רמת סטרס: מסגרת למידת עומק היברידית המשלבת מערכי EEG וביטויי פנים נפרדים

מדוע מעקב אחרי סטרס חשוב

רוב האנשים חווים שהסטרס מציף את חיי היומיום, אך קשה למדוד אותו בצורה ברורה ואובייקטיבית. המחקר חוקר כיצד מחשבים יכולים לקרוא אותות הן מהמוח והן מהפנים כדי למיין את רמת הסטרס של אדם לנמוכה, בינונית או גבוהה. על‑ידי שילוב מה שמתרחש בתוך הראש עם מה שמתבטא על הפנים, המחברים שואפים להתקדם מעבר לבדיקות מצב רוח פשוטות וליצור כלים שיכולים בסופו של דבר לתמוך ברווחה במקום העבודה, בבית ובמכשירים דיגיטליים.

שתי חלונות אל הסטרס

העבודה מתמקדת בשני סוגי אותות שונים הקשורים לסטרס. אחד הוא פעילות חשמלית במוח, הנקלטת כ‑EEG, המשקפת תגובות פנימיות שאנשים אחרים אינם רואים. השני הוא הבעות פנים, שמגלות סימנים חיצוניים כגון מתח, דאגה או רגיעה. במקום לאסוף נתונים חדשים מאותו קבוצת נבדקים, המחברים משתמשים מחדש בשתי מאגרי ציבור פופולריים: DEAP להקלטות EEG ו‑FER2013 לתמונות פנים. אף אחד מהמערכים אינו מתויג עם ציוני סטרס רפואיים, לכן הצוות מגדיר בקפידה שלוש רמות סטרס על בסיס עוצמת עוררות המוח והרגשות שנראים על הפנים. הם גם בודקים עד כמה התוצאות רגישות לשינויים קטנים בבחירת התוויות האלה.

להדריך מכונות לקרוא אותות

כדי ללמוד תבניות באותות אלה, החוקרים בונים שני ענפי למידת עומק נפרדים. עבור EEG, הם משתמשים בסוג רשת הנקרא LSTM שמתאים למעקב אחר שינויי מידע לאורך זמן, ועוזר לעקוב אחר קצבים ופיצוצים בגלי המוח שעשויים להיות קשורים לסטרס. עבור הפנים, הם משלבים Vision Transformer, שמתמקד בתשומת לב לכל התמונה, עם רשת קונבולוציה קלאסית שמתרכזת בפרטים מקומיים כמו כיווץ שרירים סביב העיניים או הפה. כל ענף ממיר את הקלט הגולמי שלו למערך תכונות קומפקטי שמסכם את מה שלמד לגבי רמות סטרס אפשריות.

להביא יחד מוח ופנים

השאלה המרכזית היא כיצד למזג את שתי התצפיות האלו כשהן מגיעות מאנשים וניסויים שונים לחלוטין. המחברים בודקים שלוש אסטרטגיות מיזוג. במיזוג מוקדם הם פשוט מצרפים את רשימות התכונות מהמוח והפנים לפני שהן מוזנות לממיין. במיזוג מאוחר, כל ענף נותן ניחוש משלו והמערכת מממנת או מצבעת על התשובה הסופית. במיזוג מקונן (stacked) מודל ברמה שנייה לומד כיצד לשלב את שתי מערכות הניחושים, וגילוי מתי כדאי לתת אמון יותר באות אחד מאשר באחר. ננקטים צעדים זהירים כדי לשמור על הפרדה בין נתוני אימון ובדיקה כדי שהתוצאות יישארו כנות וניתנות להשוואה.

מה המערכת יכולה ומה היא לא יכולה לעשות

לבד, מודל הפנים מסווג רמות סטרס בכ־80% מהמקרים נכונה, בעוד שמודל המוח עושה קצת יותר מ‑60%. כשהמיזוג מתבצע, הביצועים משתפרים בכל התחומים. המיזוג המוקדם כבר גובר על שני המקורות הבודדים, אך המיזוג המאוחר עושה עבודה טובה יותר, מה שמרמז שמתן אפשרות לכל ענף להתמחות מועיל. שיטת המיזוג המקוננת נותנת את התוצאה הטובה ביותר, ומסווגת נכון רמת סטרס ביותר מתשעתים מתוך עשרה דוגמאות בבדיקה, תוך ציונים גבוהים במדדי דיוק, שליפה ו‑F1. עם זאת, המחברים מדגישים שהתוויות הן רק תחליפים המבוססים על רגש ועוררות, ולא אבחונים קליניים, ושהנתוני EEG והפנים נלקחו מנבדקים שונים, מה שמגביל את מידת ההשתקפות הישירה של השיטה על סטרס בחיים האמיתיים.

מה המשמעות לחיי היומיום

בשורה התחתונה, המחקר מראה שמחשב יכול למיין אנשים בצורה אמינה יותר לקבוצות סטרס נמוכה, בינונית וגבוהה כאשר הוא לומד גם מפעילות מוחית וגם מהבעות פנים לעומת לימוד מכל מקור בנפרד, אפילו כאשר מקורות המידע נאספו בנפרד. המסגרת מציעה מתכון לבניית מערכות עתידיות שיכולות לזהות עלייה בסטרס במשרדים, במערכת הבריאות או במכשירים אינטראקטיביים מבלי לדרוש חיישנים מסונכרנים באופן מושלם. לפני שכלים כאלה יוכלו להנחות החלטות בריאותיות אישיות, יהיה צורך לבדוק אותם על נתונים חדשים עם מדידות סטרס אמיתיות והקלטות תואמות, אך המחקר מהווה יסוד טכני חשוב.

ציטוט: Pechetti, S., Chennu, L., Chintakunta, V. et al. Cross-domain multimodal learning for stress-level prediction: a hybrid deep learning framework integrating independent EEG and facial expression datasets. Sci Rep 16, 15303 (2026). https://doi.org/10.1038/s41598-026-41250-7

מילות מפתח: זיהוי סטרס, אותות EEG, ביטויי פנים, למידה מולטימודלית, למידת עומק