מודל עומק לסנטימנט המשלב הקשר מונע-ALBERT וארכיטקטורה מותאמת EHO

מדוע קריאת סנטימנט חכמה יותר חשובה

כל יום מיליונים חולקים דעות על מוצרים, שירותים, פוליטיקה ואירועים באינטרנט. הפיכת הצפה זו של טקסט לתובנה אמינה חשובה לחברות, לממשלות ולחוקרים. עם זאת, השפה המקוונת שלנו מבולגנת: בדיחות סרקסטיות, סלנג, שגיאות הקלדה ורגשות נדירים עלולים לבלבל מחשבים בקלות. מאמר זה מציג מערכת חדשה לניתוח סנטימנט שמטרתה לקרוא רגשות אלה בדיוק רב יותר, תוך שימוש בפחות כוח חישוב מאשר רבים מהמודלים הקיימים של אינטליגנציה מלאכותית.

ממנייני מילים פשוטים לקריאה שמודעת להקשר

כלי ניתוח סנטימנט מוקדמים התייחסו לטקסט כאל שק של מילים מנותקות, וספרו כמה פעמים מופיעות מילים כמו "טוב" או "נורא". גישה זו התעלמה מסדר המילים ומההקשר העדין, כגון "לא רע" שמשמעותו קרובה יותר ל"די טוב". שיטות למידה עמוקה שיפרו זאת על ידי עיבוד טקסט כרצפים, אך לעיתים קרובות דרשו מערכי נתונים מסומנים גדולים וחישוב כבד. מודלים מבוססי טרנספורמר כמו BERT דחפו את הדיוק רחוק יותר, אך הגודל הגדול שלהם עושה אותם יקרים להפעלה בסביבות אמתיות כמו פלטפורמות שירות לקוחות או מערכות ניטור מדיה חברתית. מחברי המאמר עונים על האתגר הזה על ידי שילוב כמה רכיבים קלים אך חזקים למערכת אחד ממוקדת ויעילה.

מוח רזה יותר להבנת טקסט

בלב המודל עומד ALBERT, אח קומפקטי של מודל השפה BERT. ALBERT ממיר כל מילה במשפט לייצוג מספרי המודע להקשר, ותופס כיצד המשמעויות משתנות בהתאם למילים השכנות. בניגוד למודלים גדולים יותר, ALBERT מקטין שימוש בזיכרון על ידי שיתוף פרמטרים בין השכבות ודחיסת אוצר המילים שלו. זה מקל על הרצתו בחומרה סטנדרטית בלי לפגוע רבות בהבנה. ייצוגי המילים המבוססים על ALBERT האלה הופכים לקלט לרצף של שכבות מתמחות המתמקדות כיצד הסנטימנט מתפתח לאורך המשפט.

שילוב של שתי מערכות זיכרון לעבודת צוות

כדי לעקוב אחרי שינויי משמעות ממילה למילה, המערכת משתמשת בשני סוגים של רשתות מחזוריות: GRU (Gated Recurrent Units) ו-LSTM (Long Short-Term Memory), כל אחת מופעלת בכיוונים קדימה ואחורה. GRU יעילות במעקב אחר ביטויים קצרים עם פחות פרמטרים, בעוד LSTM טובה יותר בזכירת מידע על מרחקים ארוכים יותר בטקסט. על ידי הצבת שכבת GRU דו-כיוונית מעל שכבת LSTM דו-כיוונית והוספת מנגנון תשומת-לב (attention), המודל יכול להדגיש את החלקים העיקריים במשפט מבחינת סנטימנט — כמו הביטוי "מלבד חיי הסוללה" בביקורת שעיקרה חיובי. עיצוב היברידי זה שואף ללכוד גם שינויי טון מהירים וגם הקשרים טווח-ארוך שיכולים להפוך את הסנטימנט הכולל.

כוונון בהשראת הטבע למצבים קשים

מעבר לארכיטקטורה, המחברים מתמודדים עם מכשול מרכזי בעולם האמיתי: מערכי נתוני סנטימנט לעיתים קרובות בלתי מאוזנים ורועשים. רגשות כמו גועל או הפתעה, וכן הצהרות נייטרליות, מופיעים פחות לעומת חיובי או שלילי ברורים, מה שגורם להרבה מודלים להתעלם מהם. כדי להתמודד עם זה, המאמר משתמש באופטימיזציית עדר האילקים (Elk Herd Optimization), אסטרטגיית חיפוש בהשראת טבע שמדמה את תנועתם, התחרות וההתגבשות של אילקים. לאחר שהרשת העצבית מייצרת וקטורי סנטימנט פנימיים, שלב האופטימיזציה הזה מכוונן אותם כך שיכילו ייצוג טוב יותר לכל מחלקה, במיוחד לקבוצות הנדירות, על ידי שיפור איטרטיבי של מדד "כושר". תהליך זה עוזר למודל להימנע מפתרונות רדודים ומשפר את היכולת להבחין ברגשות עדינים או מיוצגים מעט.

מבחן המודל

המחברים מעריכים את המערכת שלהם על שישה מערכי נתונים נפוצים, כולל פוסטים בטוויטר, ביקורות על מסעדות ומחשבים ניידים, ומערך ביקורות על סרטים בחמישה רמות שמבדיל בין דעות חיוביות מאוד ושליליות מאוד לבין דעות מתונות יותר. על פני מקורות מגוונים אלה, הגישה החדשה עוקפת בעקביות כמה מתחרים מתקדמים מבוססי-גרף ומבוססי-טרנספורמר גם בדיוק וגם במדד F1, שהוא מדד המאזן בין הצלחות נכונות ומקרים שהוחמצו. הרווחים חזקים במיוחד במשימת ביקורות על סרטים בחמישה כיוונים ובמחלקות סנטימנט מיוצגות-מעט, מה שמראה שהשיטה מסוגלת להתמודד גם עם רגשות עדינים וגם עם נתונים לא מאוזנים. מחקר אֶבְלֵיצְיָה (ablation), שבו מרכיבים מוסרים אחד-אחד, מאשר ש-ALBERT, העיצוב המשולב של GRU–LSTM, תשומת-הלב והאופטימיזציה בהשראת האילקים תורמים כולם לביצועים הכוללים.

מה משמעות הדבר ליישומים יומיומיים

ללא מומחים, המסקנה המרכזית היא שהמחקר מציע דרך יעילה ואמינה יותר לפרש נפחי דעות מקוונות גדולים. על ידי שילוב מודל שפה קומפקטי עם שכבות זיכרון משלימות ושלב כוונון בהשראת ביולוגיה, המערכת קוראת בין השורות באופן מדויק יותר, במיוחד כאשר הסנטימנטים עדינים או שהנתונים משופעים. זה הופך אותה למבטיחה לשימושים מעשיים כגון מעקב אחר שביעות רצון הלקוחות, ניטור עמדות בריאות הציבור, או הערכת תגובות למדיניות ואירועים, שם גם דיוק וגם עלות חישוב חיוניים.

ציטוט: Oqaibi, H., Sharma, S. A deep sentiment model combining ALBERT-driven context and EHO-optimized architecture. Sci Rep 16, 5784 (2026). https://doi.org/10.1038/s41598-026-36389-2

מילות מפתח: ניתוח סנטימנט, ALBERT, למידה עמוקה, מיון טקסט, אופטימיזציה מטה-היוריסטית