Система назначения экспертов на базе обработки естественного языка для действий Марии Склодовской-Кюри

Почему выбор подходящего эксперта действительно важен

Когда тысячи научных предложений конкурируют за ограниченное финансирование, всё решает тот, кто их оценивает. Если назначенные эксперты плохо понимают тему предложения, перспективные идеи могут быть неверно истолкованы или упущены. В этой статье рассматривается, как искусственный интеллект, а именно современные системы обработки языка, может помочь точнее и справедливее сопоставлять заявки с лучшими экспертами по сравнению с существующими инструментами на основе ключевых слов.

Проблема списков с ключевыми словами

До сих пор назначение экспертов в крупных европейских схемах финансирования, таких как стипендии Марии Склодовской-Кюри для постдоков, во многом опиралось на ключевые слова. Текущая платформа сканирует описания заявок и профили рецензентов в поисках совпадающих терминов, затем предлагает троих экспертов плюс альтернативы. Но заместители председателей—старшие учёные, курирующие процесс—в конечном счёте меняют около 40% таких назначений. Такой уровень ручной корректировки делает систему трудоёмкой, медленной и отчасти непрозрачной, особенно при поступлении до 10 000 заявок в год, часто в новых областях, где фиксированные списки ключевых слов работают плохо.

Чтение исследований как человеком, но в масштабе

Авторы разработали новую систему назначения, которая пытается «читать» исследования так, как это сделал бы человеческий эксперт. Вместо опоры на метки она собирает публикации каждого эксперта через ORCID, глобальную систему идентификаторов исследователей, и формирует базу более чем из 2 800 аннотаций статей. Аннотации заявок и публикаций затем обрабатываются моделью GALACTICA, крупной языковой моделью, обученной специально на научных текстах. GALACTICA превращает каждую аннотацию в числовой «отпечаток», который фиксирует смысл, а не только формулировки. Сравнивая такие отпечатки, система может оценить, насколько содержание заявки совпадает с предыдущими работами каждого эксперта.

Три способа суммировать экспертность

Одна из задач заключается в том, что у экспертов может быть десятки публикаций. Системе нужен единый балл на эксперта и заявку, поэтому авторы протестировали три простых способа объединения мер сходства. Стратегия Sum суммирует все баллы сходства, вознаграждая широкую и повторяющуюся релевантность. Стратегия Product умножает их, подчёркивая последовательную схожесть по многим публикациям, но строго штрафуя за любую слабую связь. Стратегия Maximum оставляет только одно сильнейшее совпадение, исходя из предположения, что одна очень близкая по теме статья может быть достаточным основанием для назначения. Эти баллы затем используются для ранжирования 48 кандидатур экспертов для каждой из 181 заявки, а ранжирования сравниваются с окончательными выборами экспертов, сделанными заместителями председателей.

Что числа говорят о человеческих решениях

Стратегия Maximum лучше всего совпала с решениями заместителей председателей, показав AUC 0,82, что лучше как существующей системы на основе ключевых слов (AUC 0,75), так и других методов агрегирования. На практике эксперт, выбранный заместителями председателей, обычно оказывался среди четырёх верхних предложений, сгенерированных Maximum. Это указывает на то, что при назначении рецензентов люди склонны ориентироваться на наличие по крайней мере одной очень сильной связи между предыдущими работами эксперта и заявкой, а не требовать совпадения всех публикаций эксперта. Новый метод также генерирует гораздо более тонкие оценки, чем грубые уровни «аффинности» платформы, что позволяет яснее различать близко ранжированных экспертов.

Что это означает для будущих рецензий грантов

Для неспециалиста вывод прост: использование ИИ, понимающего научный язык, позволяет агентствам по финансированию лучше сопоставлять заявки с подходящими экспертами, сократить ручные исправления и сделать процесс более последовательным и прозрачным. Хотя разные способы объединения данных о публикациях подчёркивают разные аспекты экспертности, простое правило «лучшее одиночное совпадение» похоже на то, как люди фактически принимают решения. По мере того как такие системы будут шире тестироваться и использовать более новые языковые модели, они могут стать ключевой частью более справедливой и эффективной оценки исследований во всём мире.

Цитирование: Álvarez-García, E., García-Costa, D., De Waele, I. et al. Expert assignment system based on natural language processing for Marie Sklodowska-Curie actions. Sci Rep 16, 6396 (2026). https://doi.org/10.1038/s41598-026-37115-8

Ключевые слова: рецензирование, подбор экспертов, финансирование исследований, обработка естественного языка, крупные языковые модели