Man mano che i sistemi di intelligenza artificiale passano da chatbot e assistenti di programmazione a laboratori scientifici, aule scolastiche e luoghi di lavoro, diventa fondamentale sapere cosa possono e cosa non possono fare. Le pagelle dell’IA odierne sono per lo più un singolo punteggio su benchmark ristretti, che dicono poco sul perché un sistema ha successo o fallisce — o su come si comporterà di fronte a un nuovo tipo di problema. Questo articolo propone un nuovo modo di misurare l’IA che punta a essere sistematico e duraturo, come le scale di temperatura per il meteo, fornendo una visione più chiara di punti di forza, debolezze e performance future dell’IA.
Da test sparsi a scale condivise
La maggior parte delle valutazioni attuali dell’IA somigliano a esami scolastici creati uno alla volta: ogni benchmark mescola molte abilità e difficoltà, e il voto finale è una singola percentuale. Quella percentuale dipende tanto dalle particolarità del test quanto dalle capacità dell’IA. Gli autori sostengono che questo rende impossibile prevedere le prestazioni su nuovi compiti e genera confusione — per esempio quando un benchmark di matematica dice che un modello “ragiona bene” e un altro suggerisce il contrario. Invece di limitarsi a fare la media dei punteggi, propongono di descrivere ogni compito in termini di quanto richiede lungo un insieme di scale generali, comprensibili dall’essere umano.
Costruire un righello comune per le abilità dell’IA
Per creare questo righello comune, il team ha ideato 18 scale di domanda che coprono ampie capacità mentali e aree di conoscenza. Queste includono abilità come comprendere il linguaggio, seguire catene di ragionamento, riflettere sulla propria conoscenza e conoscere fatti delle scienze naturali, sociali, applicate e formali. Tracciano anche richieste “estranee” che possono rendere i problemi più difficili o più facili senza cambiare l’abilità sottostante, come quanto è insolita una domanda, quanta informazione accumula o se è a scelta multipla. Ogni scala va da zero domanda a livelli progressivamente più impegnativi, approssimativamente allineati in modo che salire di livello significhi che molte meno persone — o IA — dovrebbero essere in grado di risolvere l’item.
Insegnare alle macchine a etichettare ciò che i compiti richiedono davvero Figure 1.
Valutare manualmente migliaia di domande su 18 scale sarebbe impossibile solo per pannelli di esperti, quindi gli autori usano i modelli linguistici avanzati stessi come annotatori. Redigono rubriche dettagliate con esempi per ogni livello di ogni scala, quindi chiedono a un modello (GPT‑4o) di assegnare i livelli di domanda a oltre 16.000 domande tratte da 20 benchmark moderni per l’IA. Esperti umani controllano un sottoinsieme e raggiungono forte accordo con le etichette del modello. Una volta annotate, ciascun benchmark può essere visualizzato come un “profilo di domanda” che mostra quanto eserciti realmente ogni abilità. Questo rivela che molti test celebrati non misurano ciò che i loro progettisti intendevano: alcuni dichiarano di concentrarsi sul ragionamento ma in realtà dipendono da conoscenze fattuali oscure, altri si raggruppano su un unico livello di difficoltà e quasi nessuno è allo stesso tempo sensibile (coprendo una buona gamma di livelli) e specifico (evitando abilità non intenzionali).
Leggere curve di abilità dell’IA invece dei punteggi grezzi
Usando le stesse scale applicate ai compiti, il passo successivo è vedere come diversi sistemi IA affrontano richieste crescenti lungo ogni dimensione. Gli autori testano 15 grandi modelli linguistici di tre famiglie principali e osservano, per ciascuna scala, la probabilità di successo all’aumentare della difficoltà dei compiti. Adattare curve lisce attraverso questi punti produce un “livello di abilità” per ogni modello su ogni scala: il livello di domanda al quale il modello riesce circa la metà delle volte quando le altre richieste non sono più alte. A differenza dell'accuratezza grezza, questi punteggi di abilità non dipendono dalla particolare miscela di item facili e difficili in un benchmark. I profili risultanti mostrano schemi chiari: i modelli più grandi migliorano soprattutto la conoscenza fattuale, mentre i modelli specializzati in “ragionamento” guadagnano di più nel pensiero numerico e logico, nell’identificazione delle informazioni rilevanti e persino nella modellazione di altre menti e situazioni sociali. Le curve rivelano anche rendimenti decrescenti: aggiungere semplicemente più parametri alla fine produce solo guadagni di abilità modesti.
Usare i profili di domanda per prevedere e controllare il comportamento dell’IA Figure 2.
Poiché sia i compiti sia i sistemi ora vivono sullo stesso insieme di scale, gli autori possono trattare la valutazione come un problema di previsione. Addestrano semplici “valutatori” di apprendimento automatico che prendono in input solo i 18 livelli di domanda per una domanda e restituiscono la probabilità che una particolare IA risponda correttamente. Questi valutatori predicono il successo con grande precisione, non solo su compiti familiari ma anche su compiti completamente nuovi e su benchmark esclusi dall’addestramento. Superano approcci black‑box molto più pesanti che si basano su embedding di testo o sul fine‑tuning diretto di grandi modelli. Ciò abilita usi pratici come instradare ogni richiesta in entrata al modello più probabile a gestirla in sicurezza, o rifiutare richieste che cadono al di fuori della zona affidabile di qualsiasi modello prima che venga fatto danno.
Un passo verso una scienza della valutazione dell’IA
Gli autori concludono che scale generali di domanda e abilità possono trasformare il modo in cui giudichiamo e distribuiamo l’IA. Invece di inseguire benchmark sempre più grandi, di breve durata e punteggi aggregati opachi, possiamo costruire un quadro di misurazione stabile ed estensibile che spieghi perché i sistemi falliscono, li confronti in modo equo tra domini e anticipi il loro comportamento su nuovi compiti. Proprio come unità standardizzate in fisica hanno reso possibile l’ingegneria precisa, un insieme condiviso e ben progettato di scale cognitive potrebbe sostenere un uso dell’IA più sicuro e prevedibile negli anni a venire.
Citazione: Zhou, L., Pacchiardi, L., Martínez-Plumed, F. et al. General scales unlock AI evaluation with explanatory and predictive power.
Nature652, 58–67 (2026). https://doi.org/10.1038/s41586-026-10303-2
Parole chiave: valutazione dell'IA, benchmarking, grandi modelli linguistici, valutazione predittiva, sicurezza dell'IA
