Experttilldelningssystem baserat på naturlig språkbehandling för Marie Sklodowska-Curie-åtgärder

Varför det är avgörande att välja rätt expert

När tusentals forskningsförslag tävlar om begränsade medel avgörs allt av vem som utvärderar dem. Om tilldelade experter inte verkligen förstår ett förslags ämne kan lovande idéer missförstås eller förbises. Denna artikel undersöker hur artificiell intelligens, särskilt moderna språkbehandlande system, kan hjälpa till att matcha förslag med de bästa möjliga experterna mer träffsäkert och rättvist än dagens nyckelordsbaserade verktyg.

Problemet med nyckelordslistor

Hittills har experttilldelning i stora europeiska finansieringsprogram som Marie Skłodowska-Curie-postdoktorala stipendier i hög grad förlitat sig på nyckelord. Den nuvarande plattformen skannar förslagsbeskrivningar och granskares profiler för att hitta matchande termer och föreslår sedan tre experter plus alternativ. Men vice ordförande — seniora forskare som övervakar processen — ändrar runt 40 % av dessa tilldelningar. Den nivån av mänsklig korrigering gör systemet arbetsintensivt, långsamt och något oklart, särskilt när upp till 10 000 förslag anländer varje år, ofta inom nya områden där fasta nyckelordslistor fungerar dåligt.

Läsa forskning som en människa, i stor skala

Författarna utvecklade ett nytt tilldelningssystem som försöker "läsa" forskning mer som en mänsklig expert skulle göra. Istället för att förlita sig på etiketter samlar det in varje experts publikationer via ORCID, ett globalt forskar-ID-system, och bygger en databas med mer än 2 800 artikelsammanfattningar. Både förslagsabstrakt och publikationsabstrakt bearbetas sedan av GALACTICA, en stor språkmodell tränad specifikt på vetenskapliga texter. GALACTICA omvandlar varje abstrakt till ett numeriskt fingeravtryck som fångar dess innebörd, inte bara dess ordalydelse. Genom att jämföra dessa fingeravtryck kan systemet uppskatta hur väl ett förslags innehåll överensstämmer med varje experts tidigare arbete.

Tre sätt att summera expertis

En utmaning är att experter kan ha dussintals publikationer. Systemet behöver en enda poäng per expert och förslag, så författarna testade tre enkla sätt att kombinera likheter. Summa-strategin adderar alla likhetspoäng och belönar bred och upprepad relevans. Produkt-strategin multiplicerar dem och betonar konsekvent likhet över många publikationer men straffar kraftigt varje svag matchning. Maximum-strategin behåller endast den starkaste enskilda matchningen, med antagandet att en mycket nära relaterad artikel kan räcka för att motivera en tilldelning. Dessa poäng används sedan för att rangordna 48 kandidatexperter för vardera av 181 förslag, och rangordningarna jämförs med de slutliga expertvalen som gjorts av vice ordförande.

Vad siffrorna avslöjar om mänskliga val

Maximum-strategin överensstämde mest med vice ordförandes beslut och uppnådde en AUC på 0,82, bättre än både det befintliga nyckelordsbaserade systemet (AUC 0,75) och de andra aggregeringsmetoderna. I praktiken dök den expert som valdes av vice ordförande vanligtvis upp bland de fyra främsta förslag som Maximum producerade. Detta tyder på att människor, när de tilldelar granskare, tenderar att fokusera på om det finns åtminstone en mycket stark koppling mellan en experts tidigare arbete och ett förslag, snarare än att kräva att alla expertens publikationer stämmer överens. Den nya metoden genererar också mycket mer finfördelade poäng än plattformens grova "affinitets"-nivåer, vilket möjliggör tydligare särskiljning bland tätt rankade experter.

Vad detta innebär för framtida bidragsgranskningar

För en lekmannaläsare är slutsatsen enkel: genom att använda AI som förstår vetenskapligt språk kan finansiärer bättre matcha förslag med rätt experter, minska manuella korrigeringar och göra processen mer konsekvent och transparent. Medan olika sätt att kombinera bevis från publikationer lyfter fram olika aspekter av expertis, verkar den enkla regeln "bästa enskilda match" spegla hur människor faktiskt fattar beslut. När sådana system testas mer utbrett och med nyare språkmodeller kan de bli en nyckelkomponent för rättvisare och mer effektiv forskningsutvärdering globalt.

Citering: Álvarez-García, E., García-Costa, D., De Waele, I. et al. Expert assignment system based on natural language processing for Marie Sklodowska-Curie actions. Sci Rep 16, 6396 (2026). https://doi.org/10.1038/s41598-026-37115-8

Nyckelord: granskning av kollegor, matchning av experter, forskningsfinansiering, naturlig språkbehandling, stora språkmodeller