Valutare la qualità delle traduzioni dei sottotitoli generate dall’IA da una prospettiva orientata alla ricezione: uno studio comparativo tra ChatGPT, traduzioni umane e traduzioni neurali in sitcom

Perché i sottotitoli per la commedia sono importanti

Lo streaming ha trasformato le serie TV straniere in intrattenimento di tutti i giorni, ma le battute possono risultare piatte se i sottotitoli non sono all’altezza. Questo studio esamina quanto funzionino diversi tipi di sottotitoli cinese–inglese per la sitcom americana classica Friends e pone una domanda semplice ma rilevante per ogni spettatore: strumenti di IA come ChatGPT rendono più facile o più difficile godersi lo show?

Modalità diverse di creare sottotitoli

I ricercatori hanno confrontato tre tipi di sottotitoli per brevi clip del primo episodio di Friends. Il primo set proveniva da un gruppo di fan professionale che ha tradotto con cura i dialoghi. Il secondo set è stato prodotto da un noto motore di traduzione online. Il terzo è stato creato con ChatGPT, cui è stato chiesto soltanto di tradurre le battute in inglese in cinese naturale. Tutti i sottotitoli erano bilingui, con il cinese sopra l’inglese, e comprendevano momenti difficili che implicavano giochi di parole, sarcasmo o cambiamenti emotivi, elementi particolarmente importanti nella commedia.

Per capire come reagivano gli spettatori, il team ha inviato un pacchetto online a centinaia di partecipanti cinesi. Ogni persona ha visto nove clip: tre scene, ciascuna ripetuta con una diversa versione di sottotitoli in ordine casuale, così da non sapere quale fosse quale. Dopo ogni trio, i partecipanti hanno scelto quali sottotitoli li aiutavano a seguire la trama e hanno valutato la loro soddisfazione su una semplice scala a cinque punti. Una domanda finale chiedeva cosa considerassero più importante nei sottotitoli, ad esempio accuratezza, facilità di comprensione o scorrevolezza rispetto al video.

Misurare la qualità dei sottotitoli da due angolazioni

Lo studio non si è fermato alle opinioni personali. Gli autori hanno anche fatto valutare le tre versioni di sottotitoli da un sistema specialistico che misura quanto i sottotitoli corrispondono al significato originale, scorrono bene e si adattano comodamente allo schermo. Questo sistema tiene traccia di diversi tipi di errori, dalla formulazione stentata ai cambiamenti gravi di significato, e li converte in un punteggio di qualità complessivo. Confrontando questi punteggi con le valutazioni degli spettatori, i ricercatori hanno potuto capire se le valutazioni di stampo esperto coincidessero con l’esperienza del pubblico quotidiano.

In tutte e tre le scene, i sottotitoli di ChatGPT hanno chiaramente superato quelli del traduttore automatico tradizionale sia nei punteggi esperti sia nella soddisfazione degli spettatori. In alcuni casi, soprattutto in una clip, la versione di ChatGPT ha ottenuto un punteggio tecnico persino superiore ai sottotitoli professionali. Gli spettatori spesso hanno trovato le sue battute naturali e facili da seguire, e molti non sono riusciti a distinguerle in modo affidabile dal lavoro umano. Tuttavia, in media, i sottotitoli realizzati da umani risultavano ancora leggermente in testa nelle valutazioni del pubblico, soprattutto quando si trattava di rendere l’umorismo o espressioni culturalmente ricche.

Chi sono gli spettatori cambia ciò che vedono

Lo studio ha rilevato che il background delle persone ha influenzato la severità del loro giudizio sui sottotitoli. Gli studenti delle scuole superiori tendevano a valutare tutte e tre le versioni in modo simile e talvolta apprezzavano i sottotitoli di ChatGPT tanto quanto o più di quelli originali del gruppo di fan. Gli studenti universitari e i laureati erano più critici e più abili a cogliere le differenze tra le versioni. Gli spettatori che avevano già visto Friends in passato erano anche più sensibili alle sfumature, preferendo i sottotitoli originali, mentre chi vedeva la serie per la prima volta faticava a distinguere le versioni. Il fatto che qualcuno avesse studiato lingue contava meno rispetto al livello generale di istruzione e alla familiarità con la serie.

Perché l’IA ha ancora bisogno del tocco umano

Esempi concreti presentati nell’articolo mostrano sia le promesse sia i limiti dei sottotitoli prodotti dall’IA. In alcune battute, ChatGPT ha generato un cinese più fluido e vivido rispetto alla versione professionale, rendendo l’umorismo più immediato. In altri momenti ha tradotto parola per parola e ha mancato significati nascosti o riferimenti culturali, con il rischio di confondere gli spettatori. Il sondaggio ha confermato che il pubblico tiene soprattutto a comprendere la trama, con accuratezza e sincronizzazione fluida che risultano anch’esse importanti. Gli autori concludono che strumenti di IA come ChatGPT già offrono sottotitoli per sitcom migliori dei vecchi motori di traduzione automatica e possono talvolta competere con il lavoro umano, ma necessitano ancora di accurata post-editing e revisione. Per ora, i migliori risultati si ottengono combinando la rapidità dell’IA con il giudizio umano, aiutando più spettatori a godersi produzioni straniere senza perdere l’anima dell’umorismo.

Citazione: Chen, S., Hu, X. Evaluating the quality of AI-generated subtitle translations from a reception-oriented perspective: a comparative study of ChatGPT, human, and neural machine translations in sitcoms. Humanit Soc Sci Commun 13, 748 (2026). https://doi.org/10.1057/s41599-026-07414-6

Parole chiave: sottotitoli, traduzione audiovisiva, ChatGPT, sitcom, ricezione degli spettatori