DeepKoopFormer: ארכיטקטורת טרנספורמר משודרגת בעזרת אופרטור קופמן לחיזוי סדרות זמן

מדוע חיזויים חכמים חשובים

מהתכנון של מזג אוויר ואנרגיה ועד שווקי ההון — רבות מההחלטות הגדולות שלנו תלויות בחיזוי כיצד דברים ישתנו עם הזמן. «סדרות זמן» אלה — רצפי מדידות כמו מהירות רוח, תפוקת חשמל או מחירי מטבעות — הופכות לאורך זמן לארוכות יותר, רועשות ומורכבות יותר. כלי בינה מלאכותית מודרניים הנקראים טרנספורמרים יכולים לעבד את המידע הזה, אך הם לעתים פועלים כקופסאות שחורות ועשויים להיעשות בלתי יציבים כשהם נדחפים לחזות רחוק אל העתיד. מאמר זה מציג את DeepKoopFormer, שיטה לחיזוי השומרת על כוח החיזוי של הטרנספורמרים תוך הוספת מבנה מתמטי שמייצר התנהלות יציבה יותר, ניתנת לפרשנות ואמינה יותר על אופקי זמן ארוכים.

דרך חדשה לייצוב מודלים רבי‑עוצמה

המחברים מתחילים מרעיון מוכר בעולם ה‑AI של היום: להשתמש בטרנספורמר כדי לעכל סדרות זמן גולמיות לייצוג פנימי עשיר. DeepKoopFormer מחדיר אז שכבת ביניים מעוצבת בקפידה בהשראת מושג ממערכות דינמיות הידוע כאופרטור קופמן. במקום לאפשר למודל להתפתח באופן מסובך ולא ליניארי לחלוטין, שכבת הביניים הזו מקדמת את המצב הפנימי באמצעות טרנספורמציה ליניארית פשוטה במרחב חבוי. חשוב: הטרנספורמציה הזאת בונה כך שההשפעה שלה קטנה בהדרגה עם הזמן במקום להתעצם באופן פרוע, מה שמבטיח מתמטית שחיזויים לטווח ארוך לא יתפוצצו או יתנודדו ללא שליטה.

כיצד המודל שומר על שיווי משקל

כדי לאכוף את היציבות, DeepKoopFormer מגביל את הצעד הליניארי במספר אופנים. הטרנספורמציה מפורקת לשלושה חלקים: שתי מטריצות אורתוגלונליות (ששומרות על אורכים וזוויות) המקיפות מטריצה דיאגונלית של גורמי קנה מידה שכל אחד מהם מאולץ להיות פחות מאחד. משמעות הדבר היא שהמצב החבוי נמתח בעדינות כלפי פנימה במקום להיות מוגבר בכל עדכון. מרכיב נוסף, שנקרא רגולריזציית ליאפנוב, מוסיף עונש באימון כאשר האנרגיה של המצב החבוי גדלה מצעד לצעד. יחד, המנגנונים האלה מוודאים שהדינמיקה הפנימית רגועה ומתנהגת היטב, בעוד שהטרנספורמר לפני צעד זה והמדה ליניארי אחרי צעד זה נשארים חופשיים ובעלי יכולת הבעה. קיבולת המודל ללמוד דפוסים מורכבים והיציבות שלו נשלטות על‑ידי הגדרות נפרדות, כך שניתן לכוונן אחת מבלי לפגוע בשנייה.

בדיקת השיטה

החוקרים מעריכים את DeepKoopFormer על בעיות מבוקרות ומציאותיות. הם בוחנים אותו קודם על מערכות כאוטיות קלאסיות כגון האטרקטור של לורנץ, שבהן שינויים קטנים יכולים להוליד עתידות שונות לגמרי, ומוסיפים רעש אקראי כדי לדמות מדידות אמיתיות. על פני מספר גבי טרנספורמר שונים, הגרסאות המשודרגות באמצעות קופמן עוקבות מקרוב אחר המסלולים האמיתיים תוך שמירה על התנהגות פנימית יציבה לאורך חיזויים לטווח קצר רבים. המחברים ממשיכים לסטים מציאותיים תובעניים: תחזיות אקלים וניתוח מחדש (reanalysis) על גרמניה (מהירות רוח ולחץ פני השטח), מחירי מטבעות קריפטוגרפיים ותפוקת חשמל ממקורות שונים בספרד. במקרים אלה משווים גרסאות DeepKoopFormer מול רשת LSTM סטנדרטית ובסיסים ליניאריים פשוטים, על פני בחירות רבות של אורך חלון קלט, אופיחזוי, וגודל המודל.

מה הניסויים מגלים

במטלות אקלימיות, פיננסיות ואנרגטיות, מודלי הטרנספורמר המועשרים בקופמן בדרך כלל משיגים שגיאות חיזוי נמוכות יותר והתנהגות יציבה יותר מאשר בסיס ה‑LSTM, במיוחד כאשר מנבאים הרבה צעדים קדימה או עובדים עם נתונים בממד גבוה. עבור רוח ולחץ בגרמניה ובעבור תפוקת חשמל, גרסאות PatchTST ו‑Informer של DeepKoopFormer נוטות להציג את הביצועים הטובים ביותר, ותופסות באופן אמין הן מגמות חלקות והן תנודות מהירות. במקרים מיוחדים שבהם הדפוסים הבסיסיים כמעט ועם ליניאריים לחלוטין, שיטה ליניארית מאוד פשוטה עדיין עשויה לנצח במדדי דיוק במבחן, מה שמדגיש שלא קיים מודל יחיד שהוא אופטימלי בכל מצב. עם זאת, העיצובים מבוססי קופמן מציגים בעקביות דפוסי שגיאה חלקים יותר ככל שאופקי החיזוי מתארכים, מה שמעיד על שליטה טובה יותר בחוסר הוודאות לטווח הארוך ופחות נטייה להסתגל לפרטים יוצאי דופן בנתוני האימון.

מדוע הגישה הזו מבטיחה

בסופו של דבר, DeepKoopFormer מראה שאפשר לשלב את הגמישות של למידה עמוקה עם הערבויות של תורת המערכות הדינמיות הקלאסית. על‑ידי הכנסת צעד ליניארי מובנה ויציב לצנרת טרנספורמר אחרת סטנדרטית, המחברים משיגים חיזויים מדויקים, עמידים לרעש וקלים יותר לניתוח מתמטי. עבור מתרגלים שמסתמכים על חיזויים לטווח ארוך במדעי האקלים, מערכות אנרגיה או פיננסים — שבהם יציבות ופרשנות חשובים לא פחות מדייקנות גולמית — המסגרת הזו מציעה דרך לתת אמון רב יותר במודלים נוירונים רבי‑עוצמה ולהבין כיצד ומדוע התחזיות שלהם מתנהגות לאורך זמן.

ציטוט: Forootani, A., Khosravi, M. & Barati, M. DeepKoopFormer: a Koopman enhanced transformer based architecture for time series forecasting. npj Artif. Intell. 2, 35 (2026). https://doi.org/10.1038/s44387-026-00085-3

מילות מפתח: חיזוי סדרות זמן, מודלים טרנספורמר, אופרטור קופמן, דינמיקה יציבה, נתוני אקלים ואנרגיה