Confronto della concordanza tra grandi modelli linguistici e conclusioni pubblicate di studi clinici su quattro piattaforme di intelligenza artificiale

Perché questo è importante per l’assistenza sanitaria di tutti i giorni

I medici si affidano a grandi studi clinici per decidere quali trattamenti siano sicuri ed efficaci. Allo stesso tempo, nuovi strumenti di intelligenza artificiale stanno migliorando nella lettura e nella sintesi della ricerca medica. Questo studio pone una domanda semplice ma importante per pazienti e clinici: quando questi strumenti leggono gli stessi studi degli esperti umani, arrivano alle stesse conclusioni finali su ciò che funziona e ciò che non funziona?

Come i ricercatori hanno testato gli strumenti di IA

Il team si è concentrato su 20 studi clinici noti pubblicati sul New England Journal of Medicine, riguardanti malattie cardiache, ictus, diabete, cancro e neurochirurgia. Questi studi sono stati scelti perché erano progettati con cura e riportati in modo chiaro, rendendoli un campo di prova solido. Invece di fornire gli articoli completi ai sistemi di IA, i ricercatori hanno messo a disposizione solo le tabelle e le figure contenenti i numeri, come i tassi di eventi e i grafici degli esiti. Questo ha costretto gli strumenti a basarsi sui dati stessi anziché limitarsi a copiare i sommari scritti dagli autori.

Cosa è stato chiesto ai sistemi di IA

Sono stati testati quattro diffusi grandi modelli linguistici: ChatGPT, Gemini, Grok3 e Claude. A ciascun modello è stato fornito lo stesso prompt standardizzato, chiedendo di interpretare i dati in cinque modi. I modelli dovevano spiegare i risultati complessivi, interpretare le statistiche, collegare i risultati alla cura del paziente, evidenziare i limiti dello studio e suggerire come i risultati potrebbero essere applicati nella pratica. Due analisti formati hanno poi confrontato ogni risposta dell’IA con l’articolo originale dello studio e hanno valutato le prestazioni in ciascuna di queste cinque aree su una scala da zero a cinque.

Quanto l’IA si è allineata alle conclusioni umane

ChatGPT ha mostrato la maggiore concordanza con le conclusioni pubblicate degli studi, ottenendo un punteggio mediano perfetto di 25 su 25 nei 20 studi. A seguire Gemini con 21 su 25, mentre Grok3 e Claude sono rimasti indietro con punteggi mediani rispettivamente di 18 e 17. Tutti e quattro gli strumenti hanno ottenuto i risultati migliori nella descrizione del motivo per cui i risultati sono importanti per i pazienti, e in particolare ChatGPT si è classificato al primo posto in ogni dominio. Anche Gemini si è comportato bene nell’individuare i punti deboli dello studio e i potenziali fattori confondenti, mentre Grok3 e Claude sono stati meno affidabili nel riconoscere le limitazioni e nel fornire suggerimenti pratici di trattamento. I due valutatori umani erano strettamente d’accordo tra loro, suggerendo che il metodo di valutazione era stabile.

Precauzioni su addestramento nascosto e sicurezza nel mondo reale

Anche se i numeri sembrano impressionanti, gli autori avvertono che i risultati vanno interpretati con cautela. Gli studi usati sono famosi e probabilmente comparivano nei dati di addestramento di questi sistemi di IA. Ciò significa che gli strumenti potrebbero già “conoscere” questi studi e richiamare modelli visti in precedenza piuttosto che ragionare in modo indipendente a partire dalle tabelle fornite. L’assenza di cecità su quale sistema ha prodotto ogni risposta lascia inoltre spazio a possibili bias umani sottili nella valutazione. Inoltre, gli studi scelti avevano prevalentemente risultati chiari e positivi, che rappresentano uno scenario ottimale piuttosto che la ricerca incerta e più confusa che spesso influenza le decisioni nel mondo reale.

Implicazioni per la cura futura

Per un lettore non specialista, la conclusione è che alcuni strumenti di IA, in particolare ChatGPT e Gemini, possono spesso leggere i dati degli studi clinici e concordare con le conclusioni degli esperti, almeno per studi noti e di alta qualità. Questo suggerisce che potrebbero essere utili come aiutanti nella sintesi di ricerche complesse e nell’organizzazione delle evidenze, ma non sono pronti a sostituire medici o ricercatori. La loro storia di addestramento è opaca, le prestazioni variano tra le piattaforme e le loro risposte non sono state dimostrate sicure per prendere decisioni terapeutiche dirette. Gli autori sostengono che l’IA dovrebbe essere vista come un potente assistente in grado di setacciare i numeri e mettere in evidenza i modelli, mentre i clinici umani rimangono responsabili del giudizio, dell’empatia e delle decisioni finali sull’assistenza al paziente.

Citazione: Mao, G., Snyder, W., Chinthala, A.S. et al. Benchmarking agreement between large language models and published clinical trial conclusions across four artificial intelligence platforms. Sci Rep 16, 15606 (2026). https://doi.org/10.1038/s41598-026-45326-2

Parole chiave: grandi modelli linguistici, studi clinici, intelligenza artificiale medica, sintesi delle evidenze, supporto alle decisioni cliniche