Evaluación de la calidad de las traducciones de subtítulos generadas por IA desde una perspectiva orientada a la recepción: estudio comparativo de ChatGPT, traducciones humanas y traducciones automáticas neuronales en sitcoms

Por qué importan los subtítulos en la comedia

El streaming ha convertido las series extranjeras en entretenimiento cotidiano, pero los chistes pueden perderse si los subtítulos no aciertan. Este estudio examina qué tan bien funcionan distintos tipos de subtítulos chino–inglés para la clásica sitcom estadounidense Friends y plantea una pregunta sencilla que importa a cualquier espectador: ¿las herramientas de IA como ChatGPT facilitan o dificultan disfrutar del programa?

Diferentes maneras de crear subtítulos

Los investigadores compararon tres tipos de subtítulos para fragmentos cortos del primer episodio de Friends. El primer conjunto procedía de un grupo profesional de fans que tradujo los diálogos con esmero. El segundo conjunto utilizó un habitual motor de traducción en línea. El tercero usó ChatGPT, pidiéndole únicamente que tradujera las líneas en inglés a un chino natural. Todos los subtítulos eran bilingües, con chino encima del inglés, y contenían momentos complicados que involucraban juegos de palabras, sarcasmo o desplazamientos emocionales, que son especialmente importantes en la comedia.

Para entender cómo reaccionaban los espectadores, el equipo envió un paquete en línea a cientos de participantes chinos. Cada persona vio nueve fragmentos: tres escenas, cada una repetida con una versión distinta de subtítulos en orden aleatorio para que no supieran cuál era cuál. Tras cada trío, elegían qué subtítulos les ayudaban a seguir la trama y valoraban su satisfacción en una simple escala de cinco puntos. Una pregunta final pedía qué valoraban más en los subtítulos, como precisión, facilidad de comprensión o fluidez con el video.

Medir la calidad de los subtítulos desde dos ángulos

El estudio no se quedó en las opiniones personales. Los autores también pasaron las tres versiones de subtítulos por un sistema de valoración especializado que puntúa qué tan bien los subtítulos coinciden con el significado original, si se leen con naturalidad y si encajan cómodamente en la pantalla. Ese sistema rastrea distintos tipos de errores, desde redacción torpe hasta cambios graves de significado, y los transforma en una puntuación global de calidad. Al comparar esas puntuaciones con las valoraciones de los espectadores, los investigadores pudieron ver si las evaluaciones de estilo experto se alineaban con la experiencia del público cotidiano.

En las tres escenas, los subtítulos de ChatGPT superaron claramente a los del motor de traducción tradicional tanto en las puntuaciones técnicas como en la satisfacción de los espectadores. En algunos casos, especialmente en un fragmento, la versión de ChatGPT incluso obtuvo una puntuación técnica superior a la de los subtítulos profesionales. Los espectadores a menudo hallaron sus líneas naturales y fáciles de seguir, y muchos no pudieron diferenciarlas de un trabajo humano de forma fiable. Sin embargo, en promedio, los subtítulos humanos seguían obteniendo una ligera ventaja en las valoraciones de la audiencia, sobre todo a la hora de captar el humor o expresiones con carga cultural.

Quiénes son los espectadores cambia lo que perciben

El estudio encontró que los antecedentes de las personas influyeron en la severidad con que juzgaban los subtítulos. Los estudiantes de secundaria tendieron a puntuar las tres versiones de manera similar y, a veces, valoraron los subtítulos de ChatGPT tanto como o incluso más que los originales del grupo de fans. Los universitarios y quienes tenían posgrados fueron más críticos y mejores para detectar diferencias entre versiones. Los espectadores que ya habían visto Friends antes también eran más sensibles a las sutilezas, prefiriendo los subtítulos originales, mientras que quienes eran nuevos en la serie tuvieron dificultades para distinguir las versiones. Que alguien hubiera estudiado idiomas importó menos que su nivel educativo general y cuán familiarizado estaba con la serie.

Por qué la IA todavía necesita el toque humano

Ejemplos concretos en el artículo muestran tanto la promesa como los límites de los subtítulos generados por IA. En algunos chistes, ChatGPT produjo un chino más fluido y vívido que la versión profesional, haciendo que el humor se sintiera más inmediato. En otros momentos tradujo palabra por palabra y pasó por alto significados ocultos o matices culturales, lo que pudo desconcertar a los espectadores. La encuesta confirmó que al público le importa sobre todo entender la trama, siendo también muy valoradas la precisión y el buen sincronismo. Los autores concluyen que herramientas de IA como ChatGPT ya ofrecen subtítulos de sitcom mejores que los motores de traducción automáticos más antiguos y que a veces pueden rivalizar con el trabajo humano, pero que aún requieren una edición y corrección cuidadosas. Por ahora, los mejores resultados provienen de combinar la velocidad de la IA con el juicio humano, ayudando a más espectadores a disfrutar de series extranjeras sin perder el núcleo del humor.

Cita: Chen, S., Hu, X. Evaluating the quality of AI-generated subtitle translations from a reception-oriented perspective: a comparative study of ChatGPT, human, and neural machine translations in sitcoms. Humanit Soc Sci Commun 13, 748 (2026). https://doi.org/10.1057/s41599-026-07414-6

Palabras clave: subtítulos, traducción audiovisual, ChatGPT, sitcoms, recepción por parte del espectador