שילוב ידע לרגרסיה סמבולית המודעת לפיזיקה באמצעות מודלי שפה גדולים מאומנים מראש

ללמד מחשבים לנחש את נוסחאות הטבע

רעיונות מרכזיים רבים במדע מתמצתים לנוסחאות קטנות וברורות: ממש כיצד כדור נופל ועד לאופן שבו גלי אור מתפרסים בחלל. מאמר זה חוקר דרך חדשה לסייע למחשבים לגלות מחדש באופן אוטומטי נוסחאות כאלה מתוך נתונים גולמיים, על-ידי מתן אפשרות להתייעץ עם מודל שפה גדול — אותו סוג בינה מלאכותית שמאחורי צ׳אטבוטים מודרניים — כך שהניחושים שלהם לא יהיו רק מדויקים, אלא גם בעלי איכויות פיזיקליות סבירות.

מנתונים גולמיים לחוקים שקל לקרוא

המחברים מתמקדים בטכניקה שנקראת רגרסיה סמבולית, המחפשת נוסחה מתמטית שמקשרת בין קלטים ותפוקות נמדדות. בניגוד להתאמת עקומה רגילה, רגרסיה סמבולית אינה מתחילה מצורת נוסחה קבועה; במקום זאת היא בונה ומפתחת מועמדות לנוסחאות עד שאחת מהן מתאימה לנתונים היטב. זה הופך אותה לכלי מבטיח לגילוי מדעי, שכן היא עשויה לחשוף יחסים חדשים שאיש לא כתב קודם לכן. יחד עם זאת יש בעיה: נוסחה שמתאימה לנתונים בצורה מושלמת עדיין עלולה להיות שטותית מנקודת מבט פיזיקלית — למשל חיבור מרחק לזמן או תוצאה עם יחידות שאינן תואמות שום כמות ממשית.

מדוע תובנה פיזיקלית עדיין חשובה

כדי להימנע מסוגיות כאלה, חוקרים פיתחו גרסאות "מודעות לפיזיקה" של רגרסיה סמבולית ששוזרות כללים ידועים של הטבע לתהליך החיפוש. שיטות אלה מעניקות נקודות נוספות לנוסחאות ששומרות אנרגיה או מכבדות עקביות מידתית, למשל. עם זאת, קידוד ידע זה דרש בדרך כלל מהמומחים לעצב הגבלות ופונקציות אובדן מיוחדות עבור כל בעיה חדשה. זה עושה את הגישה עוצמתית אבל קשה להכללה. מערכת פיזיקלית חדשה עלולה לדרוש עבודה תכנונית מדוקדקת משלה, מה שמגביל את הנגישות של הכלים האלה לא-מומחים.

לתת למודלי שפה לשפוט את הנוסחאות

המחקר מציע דרך שונה: במקום לקודד כללי תחום באופן קשיח, להשתמש במודל שפה גדול (LLM) כשופט גמיש של סבירות מדעית. במהלך החיפוש מנוע הרגרסיה הסמולית מייצר נוסחאות מועמדות שמתאימות לנתונים במידה כלשהי. כל נוסחה מתורגמת לטקסט ונשלחת אל ה-LLM יחד עם פרומפט קצר המתאר את הכמויות המעורבות וכל הגבלה פיזיקלית ידועה. ה-LLM מחזיר ציונים בשלושה היבטים: האם היחידות של הנוסחה הגיוניות, כמה פשוטה היא, והאם היא נראית ריאליסטית מבחינה פיזיקלית. ציונים אלה משולבים לתוך פונקציית המטרה הראשית, כך שהמחשב מאזין כעת לאיזון בין "מתאימה לנתונים" ל-"נראית כמו פיזיקה טובה" כשהוא בוחר אילו נוסחאות להמשיך ולשפר.

מבחן השיטה

כדי לבדוק עד כמה זה עובד, המחברים הריצו ניסויי מחשב נרחבים על שלוש בעיות קלאסיות: נפילת חפץ חופשי בכוח הכבידה של כדור הארץ, תנועה הרמונית פשוטה של מסה על קפיץ, וגל אלקטרומגנטי מדוד עם דעיכה. עבור כל מערכת הם סימולו אלפי מדידות עם רעש תחת תנאים משתנים, ואז ביקשו משלושה תוכנות רגרסיה סמבולית פופולריות לשחזר את המשוואות הבסיסיות, או עם עזרה של LLM או בלעדיה. הם ניסו שלושה מודלי שפה קומפקטיים וקוד פתוח — Mistral, Llama 2, ו-Falcon — וחקרו כיצד עיצובים שונים של הפרומפט, מרקע מינימלי ועד תיאורים מלאים ואפילו הנוסחה האמיתית, שינו את הכיוון שה-LLM מספק. ברוב ההגדרות, הוספת ציון ה-LLM שיפרה את הקרבה בין הנוסחאות המשוחזרות לחוקים המוכרים ועשתה אותן עמידות יותר בפני רעש, כשהשילוב של PySR (ספריית רגרסיה סמבולית) ו-Mistral נתן בדרך כלל את התוצאות הטובות ביותר.

כאשר מילים מנווטות את המתמטיקה

ממצא מרכזי הוא שניסוח הפרומפט משפיע באופן חזק על התוצאות. כאשר הפרומפטים כללו תיאורים ברורים של המשתנים, טבע הניסוי ולעתים אף את הנוסחה היעד המדויקת, החיפוש המונחה-LLM התכנס יותר באופן מהימן למבנה הנכון. במקרים העשירים הללו, הנוסחאות שגולו היו לעיתים זהות במבנה לחוקים האמיתיים, ולא רק קרובות מספרית. המחברים גם בחנו כיצד הגישה נשמרת תחת רמות גוברות של רעש במדידות. בעוד שכל השיטות התדרדרו ככל שהנתונים הפכו רועשים יותר והמשוואות הבסיסיות מורכבות יותר, הגרסאות המחוזקות ב-LLM נטו לאבד דיוק לאט יותר מאשר מקביליהן הסטנדרטיים, מה שמרמז על כך שחוש הסבירות של מודל השפה יכול לפעול כגורם מייצב.

מה משמעות הדבר עבור גילויים עתידיים

לקוראים כלליים, המסר המרכזי הוא שמודלי טקסט מבוססי בינה מלאכותית יכולים לעשות יותר מאשר לכתוב מאמרים או לענות על שאלות — הם יכולים גם להנחות אלגוריתמים אחרים לעבר נוסחאות מדעיות ש"מרגישות נכונות" לפי הידע הקיים שלנו על הטבע. השיטה המוצגת כאן אינה מבטיחה שכל נוסחה שתגלה תהיה נכונה, והיא עדיין נשענת על פיקוח אנושי ועל ניסוח פרומפטים מדוקדק. אבל היא מראה שמודלי שפה גדולים, מאומנים על שפע טקסטים מדעיים, יכולים לשמש כמקור חוזר של ידע תחומי, ולעזור לכלים אוטומטיים לזוז מהתאמה עיוורת של נתונים לכיוון הצעת חוקים שמדענים יכולים לפרש, לבדוק ולבנות עליהם.

ציטוט: Taskin, B., Xie, W. & Lazebnik, T. Knowledge integration for physics-informed symbolic regression using pre-trained large language models. Sci Rep 16, 1614 (2026). https://doi.org/10.1038/s41598-026-35327-6

מילות מפתח: רגרסיה סמבולית, בינה מלאכותית מודעת לפיזיקה, מודלי שפה גדולים, גילוי מדעי, למידת משוואות