הערכת מודלים גדולים רב־מצטברים מסחריים ופתוחים לאסטרונומיה דינמית: מחקר תקנון על סיווג התנהגות רזוננטית

מדוע זה חשוב לצופי השמים ולאוהבי נתונים

אסטרונומים מבלים כמות מפתיעה של זמן בעיסוק שנראה מאד ארצי: הסתכלות על גרפים וקביעה אילו מהם "מתנודדים", אילו "נעים לאט", ואילו מתנהגים כאוטית. תבניות אלו חושפות האם אסטרואידים נלכדים לריקודים מסלוליים עדינים עם הכוכבים־הלכתיים, ועוצבות כיצד מערכת השמש מתפתחת במשך מיליארדי שנים. מאמר זה שואל שאלה בוערת: האם מערכות בינה מודרניות המבינות גם טקסט וגם תמונות יכולות להתערב ולקבל את ההחלטות האלה באמינות שוות לזו של מומחים אנושיים — ללא אימון מיוחד?

כללי התנועה הנסתרים של מערכת השמש

רבים מהאסטרואידים אינם פשוט מקיפים את השמש בבידוד. מסלולם מועצם על־ידי משיכות כבידה מחזוריות של כוכבי הלכת — מצב הנקרא תהודה מסלולית (orbital resonance). כשמהלך של אסטרואיד מתאם עם זה של כוכב לכת בקצב פשוט, המסלול עלול להיעצר, להתמרץ או להתערער. אסטרונומים מאבחנים זאת על־ידי גריפת כמות שנקראת "זוית תהודה" על פני זמן. אם הנקודות על הגרף מתנדנדות בתוך תחום, העצם נמצא בתהודה; אם הן עוטפות אלכסונית על כל טווח הציר האנכי — הוא מחוץ לתהודה; אם הן מחליפות הלוך ושוב, ההתנהגות עמומה או זמנית יותר. במקרים ברורים, כללי מחשב פשוטים עובדים היטב — אבל באזורים צפופים בחלל, כמו חגורת האסטרואידים הראשית, השפעות חופפות מייצרות גרפים מבולגנים ורועשים שקשה לסווג אוטומטית ולרוב דרשו עד כה עיניהם של מומחים.

מאלגוריתמים מותאמים לבינה כללית

עד לא מזמן, החוקרים הסתמכו על שתי אסטרטגיות רחבות. מודלים קלאסיים של למידת מכונה, כגון עצי החלטה ורשתות נוירונים, יכולים להיות מאומנים לזהות סוגי תהודה ספציפיים, אך כל בעיה חדשה דורשת מאגר נתונים מתויג משל עצמו, כיוונון וקוד. שיטות דטרמיניסטיות, המבוססות על כללים מעוצבים בקפידה וניתוח תדירויות, יכולות להתפקד היטב כשהאות נקי, אך הן מתקשות כאשר תהודות חופפות או מופיעות רק באופן זמני. שתי הגישות קורסתות דווקא איפה שהנושא מעניין מבחינה מדעית: במקרים שוליים עם לכידות זמנית, "הידבקות" לתהודה ותנועה כאוטית. לעומת זאת, מודלים לשוניים גדולים (LLMs) מודרניים היכולים לבחון תמונות מציעים משהו שונה: יכולת הסקת מסקנות ב–zero-shot. במקום לאמן על אלפי דוגמאות מיוחדות, נותנים להם הוראה בשפה טבעית וגרף ומבקשים להחליט איזו קטגוריה מתאימה להתנהגות.

בניית מבחן הוגן לעיני הבינה

כדי לבדוק עד כמה המודלים באמת מצליחים, המחברים יצרו חבילה של מערכי תמונה תקנוניים המציגים זוויות תהודה הן לתהודות תזוזה ממוצעת (mean-motion) והן לתהודות סקלריות — שתי קטגוריות מפתח של אינטראקציות מסלוליות. כל תמונה היא גרף נקודות של זווית מול זמן שנוצר מתוך סימולציות מספריות ארוכות, וכל אחת תויגה בקפידה על־ידי מומחים כ"תהודית", "לא תהודית", "חולפת" או, במקרים גבוליים קיצוניים, שנויים במחלוקת. אספו ארבעה מאגרים: מאגר זעיר של "בדיקת שפיות" (RB-TEST), מאגר פיילוט של 50 תמונות השווה לעבודות קודמות (RB-PILOT), מאגר 50 תמונות העשיר במקרים עמומים (RB-SMALL), ואוסף גדול של 450 תמונות המדגימות את כל ההתנהגויות (RB-FULL). המחברים אחר כך הזינו תמונות אלה לשורה רחבה של מודלים: מערכות מסחריות מהמעלה הראשונה, מודלים פתוחים גדולים, ומודלים פתוחים קטנים שניתן להריץ על מחשב אישי. למודלים גדולים הוענקו פרומפטים מפורטים שלב אחרי שלב; הקטנים השתמשו בערכת כללים פשוטה וקלה יותר.

כמה טוב המחשבים עשו את מלאכת האסטרונומים

במבחנים הקלים ביותר, רבים מהמודלים — מסחריים ופתוחים כאחד — סיווגו כל תמונה נכון. במאגר הביניים RB-PILOT, מערכות מסחריות מובילות שמרו על ציונים כמעט מושלמים, בעוד שהמודלים הפתוחים הטובים התקרבו מאוד. האתגר האמיתי היה RB-SMALL, שבו רבים מהגרפים מציגים תערובות של התנהגויות שגם מומחים דנים בהן. כאן, המודל המסחרי הטוב ביותר עדיין הגיע לכדי כ־94 אחוז בציון משולב של דיוק וזכירה, בעוד שהטוב שבמודלים הפתוחים הגיע לכ־76 אחוז. מאגר RB-FULL הגדול אישש דפוס זה: מודלים מסחריים ומערכות פתוחות מובילות השיגו דיוק גבוה כאשר המשימה הופחתה להחלטת כן/לא פשוטה לגבי תהודה, כאשר מרבית הטעויות רוכזו במשאבים החולפים ובמצבי "הידבקות" מסובכים. ראוי לציון כי חלק מהמודלים הקטנים שניתן להריץ מקומית עדיין סיפקו ביצועים שימושיים מעשית, במיוחד לסימון פשוט של שתי קטגוריות.

מה משמעות הדבר עבור סקרים עתידיים של השמיים

עבור אדם לא־מומחה, המסקנה היא שמערכות בינה כלליות יכולות כעת להסתכל על אותם גרפים מסלוליים רועשים שלפני כן דרשו שיפוט מומחה ולהגיע למסקנות שלעיתים מתחרות ואף מתאימות לכלים המסורתיים — מבלי שהודרכו ישירות על המשימה. הן אינן מושלמות, במיוחד כשאסטרואיד רק מתיידד עם תהודה במקום להתחייב אליה, אך כבר עתה יכולות לשאת בחלק גדול מבדיקות הראייה המייגעות הנדרשות לסקרים גדולים. תקנון ההשוואה ששוחרר במחקר זה מספק לאסטרונומים דרך סטנדרטית ושימושית לבחון מודלים חדשים ולבחור את ההחלפה הנכונה בין עלות, פתיחות ודיוק. ככל שבינה רב־מצטברת תמשיך להשתפר, סביר שתהפוך לשותפה שגרתית במיפוי הכוריאוגרפיה הכבידתית המורכבת של מערכת השמש.

ציטוט: Smirnov, E., Carruba, V. Evaluating multimodal commercial and open-source large language models for dynamical astronomy: a benchmark study of resonant behavior classification. Sci Rep 16, 10785 (2026). https://doi.org/10.1038/s41598-026-45926-y

מילות מפתח: הדקים מסלוליים, בינה רב־מצטברת, דינמיקת אסטרואידים, סיווג סדרות־זמן, מודלים לשוניים בקוד פתוח