הרחבת טווח של רשתות עצביות גרפיות עם קידודים גלובליים

מדוע קישורים מרוחקים במולקולות חשובים

מתרופות חדשות ועד סוללות טובות יותר — פריצות דרך רבות כיום נשענות על מודלים ממוחשבים שיכולים לחזות כיצד אלפי אטומים דוחפים ומשכים זה את זה. קבוצה פופולרית של מודלי בינה מלאכותית, הנקראת רשתות עצביות גרפיות, הפכה לכלי עבודה במשימה זו. עם זאת, למודלים אלה יש עיוורון: הם מתמקדים בעיקר בשכנים קרובים, אף על פי שאטומים מרוחקים עשויים להשפיע חזק זה על זה דרך כוחות חשמליים וקוונטיים. מאמר זה מציג את RANGE — שיטה שמעניקה לרשתות הללו מין ראייה גלובלית כך שהן יוכלו "להרגיש" ולחזות השפעות לטווח ארוך מבלי להפוך לאטות או צורכות זיכרון באופן קיצוני.

איך ה-AI הקיים רואה רק את השכונה

רשתות עצביות גרפיות מטפלות במולקולה או בחומר כרשת של צמתים (אטומים) המקושרים בקשתות (הקשרים ביניהם). בכל שלב, כל צומת מעדכן את מצבו על ידי תקשורת רק עם שכניו הקרובים בתוך מרחק קבוע. חזרה על התהליך הזה פעמים רבות מפיצה בהדרגה מידע, אך לאסטרטגיה זו שני חסרונות מרכזיים. ראשית, מסרים עלולים להיטשטש כשהם עוברים דרך רבים מתווכים — בעיה הנקראת oversmoothing. שנית, נתיבים צרים בגרף עלולים לחנוק את כמות המידע שעובר, גורם שמכונה oversquashing. שתי הבעיות מחמירות כשמנסים לתפוס כוחות הפועלים על פני כמה אנגסטרום, כגון אלקטרוסטטיקה ופיזור (dispersion) במולקולות או גבישים גדולים. הגדלת מרחק האינטראקציה או הצמדת שכבות נוספות הופכת את המודלים ליקרים ועדיין לא פותרת לחלוטין צווארי בקבוק אלה.

הוספת צמתים וירטואליים לצורך תקשורת גלובלית

RANGE (Relaying Attention Nodes for Global Encoding) משנה את התמונה על ידי הוספת קבוצת "צמתים ראשיים" וירטואליים קטנה שאין להם מקביל של אטום אמיתי. במקום זאת, הם פועלים כצמתים גלובליים. לאחר צעד רגיל של העברת מסרים בין אטומים שכנים, המידע מכל האטומים נאסף אל הצמתים האלה באמצעות מנגנון תשומת לב: כל צומת ראשי לומד אילו חלקים במערכת ראויים להתמקדות. האגרגציה הזו יוצרת סיכומי מצב בקנה מידה גס של המולקולה. בשלב שידור שני, אותם סיכומים נשלחים בחזרה לכל אטום, שוב באמצעות תשומת לב כך שכל אטום יכול להחליט כמה להקשיב לכל צומת ראשי תוך שהוא שומר גם על הזיכרון המקומי שלו דרך לופים עצמי-חיבור. מכיוון שכל אטום מקושר ישירות לכל צומת ראשי, תקשורת לטווח ארוך יכולה להתרחש בשלב יחיד, מה שהופך את הגרף לרשת "עולם-קטן" שבה אזורים מרוחקים משפיעים זה על זה במהירות וביעילות.

לראות כוחות לטווח ארוך שאחרים מפספסים

החוקרים בחנו את RANGE על ידי צירוף השיטה למספר מודלים מתקדמים של שדות כוחות מולקולריים והשווה ביניהם לבין הגרסאות המקוריות שהיו מקומיות בלבד. הם השתמשו במערכות מאתגרות שבהן השפעות לטווח ארוך ידועות כחיוניות: גביש מלח עם יון נתרן נוסף המשמש כדופנט, דימר זהב המתקרב למשטח תחמוצת מדופנת וזוגות מולקולות אורגניות המתקשרות במרחקים משתנים. המודלים הסטנדרטיים כשלו ברובם בלזהות כיצד סידורי מטענים מרוחקים או דופנטים מוסתרים משנים את משטח האנרגיה; התחזיות שלהם כמעט שלא השתנו כאשר הסביבה לטווח הארוך השתנתה. לעומת זאת, המודלים המשודרגים עם RANGE תפסו נכון את עקומות האנרגיה השונות ויכלו להכליל למרחקים גדולים יותר מאלה שראו בזמן האימון, עם שגיאות שקטנות עד פי ארבעה במקרים קשים של דימרים טעונים.

דיוק בלי לשבור את המחשב

חשוב לציין, RANGE מספקת את הראייה המשופרת הזו בלי העלות המחשובית הקיצונית של גישות גלובליות אחרות. טכניקות ההשאל מבוססות-פיזיקה, כמו סכימת אוואלד או תיקונים מבוססי פורייה, דורשות פעולות שגדלות בערך כפי שמקדם ריבועי במספר האטומים או תלויות ברשתות גדולות, מה שהופך אותן לכבדות עבור מערכות גדולות וסימולציות חוזרות. RANGE, לפי העיצוב שלו, מתכנס בקנה מידה ליניארי עם גודל המערכת: כל צומת ראשי מקושר לכל האטומים, אך מספר הצמתים הראשיים גדל במידה מתונה ונשלט על ידי סכמת רגולריזציה שמונעת מהצמתים להפוך למיותרים. מדדי ביצוע על מערכי נתונים גדולים יותר מראים ש-RANGE מקטין בעקביות את השגיאות בכוחות החזויים, גם כאשר המודלים הבסיסיים משתמשים בחתכי אינטראקציה קצרים, והוא עושה זאת עם עלייה מתונה בלבד בזמן ריצה ובזיכרון. הצוות גם הריץ סימולציות דינמיקה מולקולרית של עשרות ננו-שניות על מולקולות מורכבות, ומצא ששדות הכוח המבוססים על RANGE נשארו יציבים וחקרו צורות ומצבים ריאליסטיים.

מבט כללי ברור יותר על עולמות מולקולריים

ללא מומחיות מיוחדת, המסר המרכזי הוא ש-RANGE מעניקה למודלי AI מבוססי-גרף דרך חדשה לחשוב באופן גלובלי בזמן שהם פועלים בצורה מקומית. על ידי הכנסת צמתים וירטואליים חכמים וזרימת מידע המונעת על ידי תשומת לב, היא מתגברת על צווארי הבקבוק הרגילים שמונעים מרשתות עצביות לתפוס השפעות רבות-גופים ולטווח ארוך במולקולות וחומרים. משמעות הדבר היא תחזיות אמינות יותר למערכות שבהן אזורים מרוחקים משפיעים זה על זה בעדינות — מתרכובות תרופות גמישות ועד ננו-מבנים מורחבים — מבלי לשלם מחיר חישובי מכריע. ככל ששיטות אלה ייושמו על סביבות גדולות ומורכבות יותר, הן מבטיחות כלים מבוססי AI שיכולים לשקף באופן נאמן יותר את הרקמה האמיתית והלטווחית של אינטראקציות פיזיקליות.

ציטוט: Caruso, A., Venturin, J., Giambagli, L. et al. Extending the range of graph neural networks with global encodings. Nat Commun 17, 1855 (2026). https://doi.org/10.1038/s41467-026-69715-3

מילות מפתח: רשתות עצביות גרפיות, אינטראקציות לטווח ארוך, סימולציות מולקולריות, שדות כוחות שנלמדים על ידי מכונה, מנגנוני תשומת לב