מערכת הקצאת מומחים מבוססת עיבוד שפה טבעית עבור פעולות מרי סקלודובסקה-קירי

מדוע בחירת המומחה הנכון היא קריטית

כשאלפי הצעות מחקר מתחרות על תקציבים מוגבלים, הכל תלוי במי שמעריך אותן. אם המומחים המוקצים אינם מבינים באמת את תחום ההצעה, רעיונות מבטיחים עלולים להיות מובנים לא נכון או להתפספס. מאמר זה בוחן כיצד אינטיליגנציה מלאכותית, ובפרט מערכות עיבוד שפה מודרניות, יכולה לסייע להתאים הצעות למומחים המתאימים בצורה מדויקת והוגנת יותר מאשר כלי מילות המפתח המקובלים היום.

הבעיה ברשימות בדיקת מילות מפתח

עד כה, הקצאת מומחים בתכניות מימון גדולה באירופה כגון המלגות הפוסט-דוקטורט של מרי סקלודובסקה-קירי התבססה במידה רבה על מילות מפתח. הפלטפורמה הנוכחית סורקת תיאורי הצעות ופרופילים של מעריכים כדי למצוא מונחים תואמים, ואז מציעה שלושה מומחים בתוספת חלופות. אך סגני הוועדה — מדענים בכירים שמפקחים על התהליך — מסיימים בשינוי כ-40% מההקצאות הללו. רמת התיקון האנושי הזו הופכת את המערכת לעמוסת עבודה, איטית ומעט לא שקופה, במיוחד כאשר מגיעות עד כ-10,000 הצעות בשנה, לעתים בתחומים מתפתחים שבהם רשימות מילות מפתח קבועות מתקשות.

לקרוא מחקר כמו בן אדם, בקנה מידה גדול

המחברים פיתחו מערכת הקצאה חדשה שמנסה "לקרוא" מחקר כמו שמומחה אנושי היה עושה. במקום להסתמך על תוויות, היא אוספת את פרסומיו של כל מומחה דרך ORCID, מערכת זיהוי עולמית לחוקרים, ובונה מאגר של למעלה מ-2,800 תקצירים של מאמרים. גם תקצירי ההצעות וגם תקצירי הפרסומים מעובדים על ידי GALACTICA, מודל שפה גדול שאומן במיוחד על טקסטים מדעיים. GALACTICA הופך כל תקציר לטביעת אצבע מספרית שמגלמת את משמעותו, לא רק את ניסוחה. בהשוואת טביעות אצבע אלה, המערכת יכולה להעריך עד כמה תוכן ההצעה תואם לעבודתו הקודמת של כל מומחה.

שלוש דרכים לצבור מומחיות

אתגר הוא שמומחים עשויים לפרסם עשרות מאמרים. המערכת זקוקה לציון יחיד לכל מומחה והצעה, ולכן המחברים בדקו שלוש דרכים פשוטות לשילוב הדמיון. אסטרטגיית הסכום (Sum) מוסיפה את כל ציוני הדמיון, ומתגמלת רלוונטיות רחבה וחוזרת. אסטרטגיית המכפלה (Product) מכפילה את הציונים, ומדגישה דמיון עקבי על פני פרסומים רבים אך מענישה חזק כל התאמה חלשה. אסטרטגיית המקסימום (Maximum) שומרת רק על ההתאמה החזקה ביותר, מתוך ההנחה שמאמר אחד מאוד קרוב עשוי להספיק להצדה. ציונים אלה שימשו לדרג 48 מועמדים כמומחים עבור כל אחת מ-181 הצעות, והדירוגים הושוו לבחירות הסופיות של סגני הוועדה.

מה המספרים מגלים על בחירות אנושיות

אסטרטגיית המקסימום התאימה ביותר להחלטות סגני הוועדה, והשיגה AUC של 0.82, טוב יותר הן מהמערכת המבוססת מילות המפתח הקיימת (AUC 0.75) והן משיטות האגגרגציה האחרות. בפועל, המומחה שנבחר על ידי סגני הוועדה הופיע בדרך כלל בין ארבעת ההצעות המובילות שייצרה אסטרטגיית המקסימום. ממצא זה מרמז שכאשר מקצינים מעריכים, אנשים נוטים להתמקד בקיומה של לפחות התאמה חזקה אחת בין עבודתו הקודמת של המומחה להצעה, במקום לדרוש שכל פרסומי המומחה יתאימו. השיטה החדשה גם מייצרת ציונים בעלי גוון עדין יותר מאשר רמות "התאמה" הגסות של הפלטפורמה, ומאפשרת הבחנה ברורה יותר בין מומחים המדורגים קרוב זה לזה.

מה זה אומר עבור סקירות מענקים בעתיד

לקורא שאינו מומחה, המסקנה פשוטה: באמצעות בינה מלאכותית שמבינה שפה מדעית, סוכנויות מימון יכולות להתאים טוב יותר הצעות למומחים הנכונים, לצמצם תיקונים ידניים ולעשות את התהליך יותר עקבי ושקוף. בעוד שדרכים שונות לשילוב ראיות מפרסומים מדגישות היבטים שונים של מומחיות, כלל "ההתאמה הטובה ביותר היחידה" הפשוט נראה להדמות לאופן שבו אנשים בהחלט מקבלים החלטות. ככל שמערכות כאלה ייבחנו באופן נרחב יותר ובשילוב מודלים שפתיים חדשים, הן עשויות להפוך לחלק מרכזי בהערכה צודקת ויעילה יותר של מחקר ברחבי העולם.

ציטוט: Álvarez-García, E., García-Costa, D., De Waele, I. et al. Expert assignment system based on natural language processing for Marie Sklodowska-Curie actions. Sci Rep 16, 6396 (2026). https://doi.org/10.1038/s41598-026-37115-8

מילות מפתח: חוות דעת עמיתים, התאמת מומחים, מימון מחקר, עיבוד שפה טבעית, מודלים שפתיים גדולים