System przydzielania ekspertów oparty na przetwarzaniu języka naturalnego dla działań Marie Skłodowska-Curie

Dlaczego wybór właściwego eksperta ma naprawdę znaczenie

Gdy tysiące wniosków badawczych rywalizuje o ograniczone środki, wszystko zależy od tego, kto je ocenia. Jeśli przydzieleni eksperci nie rozumieją w pełni tematu wniosku, obiecujące pomysły mogą zostać źle zinterpretowane lub przeoczone. W tym artykule analizujemy, jak sztuczna inteligencja — a w szczególności nowoczesne systemy przetwarzania języka — może pomóc dokładniej i sprawiedliwiej dopasowywać wnioski do najlepszych ekspertów niż obecne narzędzia oparte na listach słów kluczowych.

Problem z listami kontrolnymi słów kluczowych

Dotąd przydział ekspertów w dużych europejskich programach finansowania, takich jak stypendia Marie Skłodowska-Curie dla postdoków, opierał się w dużej mierze na słowach kluczowych. Obecna platforma skanuje opisy wniosków i profile recenzentów w poszukiwaniu pasujących terminów, po czym proponuje trzech ekspertów plus alternatywy. Jednak wiceprzewodniczący — starsi naukowcy nadzorujący proces — zmieniają około 40% tych przydziałów. Taki poziom korekt ze strony ludzi sprawia, że system jest pracochłonny, powolny i w pewnym stopniu nieprzejrzysty, zwłaszcza gdy każdego roku wpływa do 10 000 wniosków, często w nowych dziedzinach, w których stałe listy słów kluczowych słabo działają.

Czytanie badań jak człowiek, w skali

Autorzy opracowali nowy system przydziału, który stara się „czytać” badania podobnie jak ekspert ludzki. Zamiast polegać na etykietach, zbiera on publikacje każdego eksperta za pośrednictwem ORCID, globalnego identyfikatora badacza, i buduje bazę ponad 2 800 streszczeń artykułów. Abstrakty wniosków i abstrakty publikacji są następnie przetwarzane przez GALACTICA, duży model językowy wytrenowany specjalnie na tekstach naukowych. GALACTICA przekształca każde streszczenie w numeryczny odcisk palca, który oddaje jego znaczenie, a nie tylko brzmienie słów. Porównując te odciski, system może oszacować, jak blisko treść wniosku pokrywa się z dotychczasowymi pracami danego eksperta.

Trzy sposoby sumowania ekspertyzy

Jednym wyzwaniem jest to, że eksperci mogą mieć dziesiątki publikacji. System potrzebuje pojedynczego wyniku dla pary ekspert–wniosek, więc autorzy przetestowali trzy proste sposoby łączenia podobieństw. Strategia Sumy dodaje wszystkie wyniki podobieństwa, nagradzając szeroką i powtarzalną trafność. Strategia Iloczynu mnoży je, kładąc nacisk na spójną podobieństwo w wielu publikacjach, lecz surowo karząc pojedyncze słabe dopasowania. Strategia Maksimum zachowuje tylko pojedyncze najsilniejsze dopasowanie, zakładając, że jedna bardzo powiązana praca może wystarczyć do uzasadnienia przydziału. Te wyniki wykorzystano następnie do rankingowania 48 potencjalnych ekspertów dla każdego z 181 wniosków, a ranking porównano z ostatecznymi wyborami ekspertów dokonanymi przez wiceprzewodniczących.

Co liczby mówią o ludzkich wyborach

Strategia Maksimum najlepiej odpowiadała decyzjom wiceprzewodniczących, osiągając AUC równe 0,82, co jest lepsze zarówno od obecnego systemu opartego na słowach kluczowych (AUC 0,75), jak i od pozostałych metod agregacji. W praktyce ekspert wybrany przez wiceprzewodniczących zazwyczaj znajdował się wśród czterech najlepszych sugestii wygenerowanych przez strategię Maksimum. Sugeruje to, że przy przydziale recenzentów ludzie mają tendencję do skupiania się na tym, czy istnieje przynajmniej jedno bardzo silne powiązanie między wcześniejszą pracą eksperta a wnioskiem, zamiast wymagać zgodności wszystkich publikacji eksperta. Nowa metoda generuje też znacznie bardziej szczegółowe wyniki niż szorstkie poziomy „afinitetu” platformy, umożliwiając jaśniejsze rozróżnienie wśród ściśle ocenianych ekspertów.

Co to oznacza dla przyszłych ocen grantów

Dla czytelnika niebędącego specjalistą wniosek jest prosty: stosując AI rozumiejącą język naukowy, agencje finansujące mogą lepiej dopasowywać wnioski do właściwych ekspertów, ograniczyć liczbę ręcznych poprawek oraz uczynić proces bardziej spójnym i przejrzystym. Różne sposoby łączenia dowodów z publikacji uwypuklają różne aspekty ekspertyzy, ale prosta zasada „najlepszego pojedynczego dopasowania” wydaje się odzwierciedlać sposób, w jaki ludzie faktycznie decydują. W miarę jak takie systemy będą szerzej testowane i stosowane z nowszymi modelami językowymi, mogą stać się kluczowym elementem sprawiedliwszej i bardziej efektywnej oceny badań na całym świecie.

Cytowanie: Álvarez-García, E., García-Costa, D., De Waele, I. et al. Expert assignment system based on natural language processing for Marie Sklodowska-Curie actions. Sci Rep 16, 6396 (2026). https://doi.org/10.1038/s41598-026-37115-8

Słowa kluczowe: recenzja naukowa, dopasowanie ekspertów, finansowanie badań, przetwarzanie języka naturalnego, duże modele językowe