לחשוב מחדש על הנדסת הקונטקסט באמצעות ארכיטקטורת מבוססת תשומת לב

מדוע עוזרים תוכנה חכמים חשובים

כל לחיצה שאתם עושים באפליקציית ארגון—התחברות, העלאת קובץ, הרצת דוח—משאירה עקבות. אם תוכנה תוכל לחזות באופן מהימן את הצעד הבא שלכם, היא תוכל לטעון נתונים מראש, להציע קיצורי דרך ולהגיב כמעט מיידית. המאמר חוקר דרך חדשה ללמד מחשבים להבין את רצפי הפעולות הללו כל כך טוב שעוזרים דיגיטליים יכולים לצפות מה תעשו הלאה, מה המטרה שאתם מנסים להשיג ומתי אתם עומדים לצאת.

משרשרות פשוטות לתבניות עשירות

מערכות רבות שקוראות את הצעד הבא של המשתמש נסמכות על שרשראות מרקוב, כלי מתמטי קלאסי שמתייחס רק לפעולה האחרונה כדי לחזות את הבאה. למרות שהן מהירות ונוחות, גישה של "זיכרון צעד אחד" לא מצליחה בעבודות אמתיות, שבהן משימות כמו בניית צינור למידת מכונה או הכנת לוח מחוונים נפרשות על פני צעדים רבים ומערבות כלים שונים. הכותבים טוענים שמודלים פשוטים כאלה מפספסים מבנה לטווח ארוך, יכולים לטפל רק במטרה חיזוי אחת בכל פעם וקשה להשוות ביניהם במחקרים שונים כי הם בדרך כלל תלויים ביומנים פרטיים ובבחירות ניקוי נתונים שאינן שקופות.

תוכנית חדשה ללמידת רב-משימות

כדי להתגבר על המגבלות האלה, המאמר מציג מודל טרנספורמר מבוסס תשומת לב—אותה משפחת טכניקות שמאחורי כלים מודרניים לשפה—מוסב להתנהגות משתמש. במקום ללמוד רק דבר אחד, המודל מאומן לפתור שלוש משימות קשורות בו-זמנית: חיזוי הפעולה הבאה (איזו API המשתמש יקרא), ניבוי המטרה הכוללת של המושב (כגון הרצת צינור למידת מכונה, ניתוח נתונים, ניהול משתמשים או יצירת ויזואליזציה מהירה), והחלטה האם הצעד הנוכחי צפוי להיות האחרון במושב. שלוש המשימות חולקות "שלד" משותף שהופך היסטוריה קצרה של פעולות אחרונות לייצוג עשיר אחד של המתרחש, שמוזן לאחר מכן לשלוש מודולות חיזוי קטנות.

בניית סביבה מדומה ריאליסטית

מכיוון שיומני פעילות של ארגונים אמיתיים לעתים קרובות רגישים וקשים לשיתוף, הכותבים בונים סביבה מדומה מתוחכמת המדמה כיצד אנשי נתונים משתמשים בפלטפורמה פנימית גדולה. הם מגדירים 100 ממשקי API מובחנים המקובצים ל-10 תחומי תפקוד, כולל אימות, קלט נתונים, עיבוד, אימון מודלים, ויזואליזציה, ייצוא וניהול. ארבע פרסונות משתמש—מדעני נתונים, אנליסטים עסקיים, מפתחים ומשתמשי על—עוקבות אחרי זרימות עבודה אופייניות אך לא מושלמות, עם הסתברויות שמשקפות הן התנהגות שגרתית והן סטיות מזדמנות. מערך הנתונים המתקבל מכיל 2,000 מושבים ו-20,000 קריאות API, עם מטרות מושב כמו "צינור למידת מכונה" ו"ויזואליזציה מהירה" שיוצרות מסלולים ברורים כגון כניסה, טעינת נתונים, עיבודם, יצירת תרשים וייצוא התוצאה.

כמה טוב המודל לומד לצפות

מאומן על סביבה מובנית אך מגוונת זו, מודל הטרנספורמר מראה שלמידה מבוססת תשומת לב יכולה ללכוד את הסדירויות החבויות בהתנהגות משתמש טוב בהרבה משיטות ישנות. עבור המשימה המרכזית—ניחוש קריאת ה-API הבאה מתוך 100 אפשרויות—הוא מקבל את התשובה המדויקת כמעט 80% מהזמן וממקם את הבחירה הנכונה בחמשת ההצעות המובילות שלו יותר מ-99.9% מהזמן, קפיצה של יותר מארבע פעמים לעומת שרשרת מרקוב בסיסית. במקביל, הוא מזהה נכונה את המטרה הכוללת של המושב בכ-82% מהמקרים וכמעט בצורה מושלמת מבחין מתי מושב עומד להסתיים. הכותבים גם מדגישים שהמודל יחסית קומפקטי ויעיל, מה שהופך שימוש בזמן אמת בריא לשירותים חיים שצריכים להגיב ללא עיכוב מורגש לאפשרי.

כלים לאחרים לשימוש והרחבה

כדי להפוך את הגישה שלהם ליותר מניסוי חד-פעמי, הכותבים מפרסמים חבילת תוכנה בקוד פתוח בשם context-engineer, יחד עם מערך הנתונים המדומה המלא. עם משאבים אלה, חוקרים ומעשים אחרים יכולים לשחזר את התוצאות המדווחות, לבחון מודלים חלופיים על סמרק משותף או לחבר יומנים פנימיים משלהם על ידי מיפוי פעולות ותוויות מושב לפורמט מספרי פשוט. הפתיחות הזו מתמודדת עם חסם מרכזי בתחום, שבו מערכות רבות בעבר לא יכלו להיות מושוו או מנוצלות מחדש בצורה הוגנת כי הנתונים והקוד שלהן לא היו זמינים.

מה זה אומר למשתמשים יומיומיים

לא-מומחה, הממצא המרכזי הוא שהמאמר מציע מתכון פרקטי לגרום לכלים דיגיטליים להרגיש "צעד אחד קדימה". על ידי למידה משותפת של מה אנשים מנסים לעשות, מה הסבירות שהם ילחצו בהמשך ומתי הם סוגרים, המערכת המוצעת מבוססת הטרנספורמר הופכת היסטוריות משתמשים לצורת מודעות להקשר. ביישומים אמיתיים זה עשוי להתבטא בצ׳אטבוטים שמכינים את הדוח הבא לפני שתבקשו, בפלטפורמות אנליטיקה שמציעות פעולות המשך הגיוניות ובדשבורדים ארגוניים שמקצרים זמני המתנה בשקט. למרות שהמחקר הנוכחי מבוסס על נתונים מדומים ודורש בדיקה על יומנים אמיתיים, הוא מציע בסיס ברור ומשחזר לבניית עוזרים תוכנה חכמים ומצפי-פעולה על פני סוגים רבים של פלטפורמות דיגיטליות.

ציטוט: Yin, Y. Rethink context engineering using an attention-based architecture. Sci Rep 16, 8851 (2026). https://doi.org/10.1038/s41598-026-43111-9

מילות מפתח: חיזוי התנהגות משתמש, המלצה סדרתית, טרנספורמר מבוסס תשומת לב, עוזרים דיגיטליים פרואקטיביים, הנדסת קונטקסט