דיווחים מדעיים: טרנספורמר גרפי עם תשומת לב כפולה ורב-יחסית לניתוח רגשות מדויק

מדוע רמזים זעירים בביקורות חשובים

ביקורות מקוונות מלאות רגשות מעורבים: מסעדה עשויה לקבל "אוכל נהדר אבל שירות איטי", או טלפון עם "מסך יפה אך חיי סוללה נוראים". חברות וחוקרים מעוניינים שמחשבים יבינו את סוג הדעות המפורט הזה, לא רק האם הביקורת כולה חיובית או שלילית. המאמר מציג מודל בינה מלאכותית חדש שמתרכז בחלקים ספציפיים של משפט—כמו "שירות" או "חיי סוללה"—ומרחיב כיצד אנשים מרגישים לגבי כל אחד מהם, גם כאשר הרמזים מפוזרים ועדינים.

מעבר לניתוח רגשות בגישת מידה אחת מתאימה לכולם

ניתוח רגשות מסורתי מטפל במשפט או בביקורת כחתיכה אחת של טקסט וקובע אם היא חיובית או שלילית בסך הכול. זה עובד עבור הערות פשוטות, אך נכשל כשמישהו משבח אספקט אחד וביקר אספקט אחר באותו משפט. תחום ניתוח רגשות מבוסס אספקט מתמודד עם זה על ידי השאלה: מהו הרגש כלפי כל מטרה ספציפית, כגון "שירות", "סביבה" או "צוות" בביקורת מסעדה. שיטות מוקדמות התבססו על חוקים מעשה ידי אדם או למידת מכונה פשוטה שסיפרה מילים, ואז עברו לרשתות נוירוניות שקוראות טקסט ברצף, כמו קריאה משמאל לימין. מודלים סדרתיים כאלה שיפרו דיוק אך עדיין פספסו קישורים למרחקים ארוכים ורמזים עדינים, במיוחד כשהמילים החשובות רחוקות זו מזו או מקושרות במילות ניגוד כמו "אבל" ו"אם כי".

להפוך משפטים למפות מחוברות

המחברים טוענים שעל מנת להבין דעות מעודנות באמת, המחשב צריך לראות משפט כרשת ולא כקו ישר. בגישתם, כל מילה הופכת לקודקוד בגרף, וסוגים שונים של יחסים הופכים לקשתות. סט אחד של קשתות לוכד תחביר, למשל איזו מילה היא נושא או מושא. סט נוסף מקשר מילים דומות במשמעות, גם אם אינן צמודות זו לזו. סט שלישי מסמן רמזים דיסקורסיביים—מילים כמו "אבל", "אולם" או "אם כי" שלעתים קרובות מעידות על שינוי ברגש. במשפט כמו "השירות היה סביר אבל הסביבה הרגישה לא מזמינה אם כי הצוות היה ידידותי", הגרף הזה מראה כיצד שבחים וביקורת ארוגים סביב אספקטים שונים.

זרקור כפול על ההקשר והיעדים

בהתבסס על ראייה גרפית זו, המאמר מציג את ה-Multi-Relational Dual-Attention Graph Transformer (MRDAGT). מודל זה משתמש במנגנון תשומת לב בסגנון טרנספורמר שמותאם לגרפים. ראש תשומת לב אחד בוחן באופן רחב כיצד כל המילים במשפט קשורות זו לזו, ואוגר הקשר מקומי שימושי. ראש תשומת לב שני מתמקד ספציפית באספקט הנבחן—נניח "שירות" או "סביבה"—ומרחיב את ההשפעה של מילים המעצבות דעות לגבי המטרה הזו, כגון "סביר" או "לא מזמין". כאשר יש מספר אספקטים במשפט יחיד, שכבת תשומת לב גלובלית אופציונלית מסייעת למודל לאזן את האינטראקציות ביניהן. למעשה, המערכת מאירה שני זרקורים מתואמים: אחד על מבנה המשפט הכללי, ואחד ישירות על האספקט שהרגש לגביו מנסה לשפוט.

להפוך את תשומת הלב של המכונה לבחירה ומסבירה יותר

דאגה מרכזית בבינה המודרנית היא שמשקלי התשומת לב—המספרים שמציינים אילו מילים המודל התמקד בהן—יכולים להיות מפוזרים מדי, מה שהופך את ההחלטות לקשות לפרשנות. MRDAGT מתייחס לכך עם שתי כוחות רגולריזציה. עונש אנטרופיה מונע תשומת לב שטוחה מדי, ודוחף את המודל להתרכז באופן חזק יותר בכמה מילים חשובות. במקביל, מונח L1 לעידוד ספארסיות דוחף קישורי תשומת לב רבים לאפס, חותך חיבורים חלשים ורועשים. יחדיו הכוחות האלו יוצרים "ספארסיות ממוקדת": המודל נוטה להעניק משקלים גבוהים וברורים לזוגות מילה–אספקט רלוונטיים באמת תוך התעלמות מהסחות דעת. ניסויים בשלושה מערכי מבחן תקניים—ביקורות לפטופים פורמליות, ביקורות מורכבות מרב־משפטים וציוצים לא פורמליים—מראים ש-MRDAGT מפלס בעקביות מעל מערכות חזקות קיימות בכונה של בערך נקודה עד שתי נקודות אחוז בדיוק, ובו בזמן מפיק מפות תשומת לב נקיות ומובנות יותר.

מה זה אומר לחילוץ דעות בעולם האמיתי

עבור קוראים שאינם מומחים, המסקנה היא שהמודל הזה מציע דרך מדויקת ואמינה יותר לחלץ דעות מטקסט אמיתי ומבלגן. במקום לומר שפשוט הביקורת היא "בעיקר חיובית", MRDAGT יכול לדווח בנפרד שללקוחות מהירויות של המכשיר נראות לטבען אך הם אינם מרוצים מחיי הסוללה, או שלמבלים במסעדה אהבו את צוות המקום אך התלוננו על רעש. מאחר שתבניות התשומת לב שלו תואמות לאינטואיציה האנושית—מתמקדות במילות ניגוד, תארי דעה ואוצר מילים של אספקטים—קל יותר לניתוח להבין מדוע המודל קיבל שיפוט מסוים. המחברים מציעים שגישה זו יכולה לתמוך בקבלת החלטות עיצוב מוצר טובה יותר, במעקב חד יותר אחרי מדיה חברתית ובהרחבות עתידיות לשפות רבות ואפילו לנתוני מולטימודל כמו אודיו ותמונות, וכל זאת תוך שמירה על תהליך הסקת מסקנות יחסית שקוף.

ציטוט: Anilkumar, A.P., Kim, SK. & Yoon, YC. Scientific reports multi relational dual attention graph transformer for fine grained sentiment analysis. Sci Rep 16, 7236 (2026). https://doi.org/10.1038/s41598-026-36490-6

מילות מפתח: ניתוח רגשות מבוסס אספקט, רשתות עצביות גרפיות, תשומת לב טרנספורמר, חילוץ דעות, עיבוד שפה טבעית