Avaliação da qualidade de traduções de legendas geradas por IA sob uma perspectiva de recepção: um estudo comparativo entre ChatGPT, traduções humanas e traduções por máquina neural em sitcoms

Por que legendas para comédia importam

O streaming transformou séries estrangeiras em entretenimento cotidiano, mas as piadas podem perder a graça se as legendas não acertarem. Este estudo examina quão bem diferentes tipos de legendas chinês–inglês funcionam para a clássica sitcom americana Friends e faz uma pergunta simples, que interessa a qualquer espectador: ferramentas de IA como o ChatGPT tornam mais fácil ou mais difícil aproveitar o programa?

Diferentes formas de criar legendas

Os pesquisadores compararam três tipos de legendas para trechos curtos do primeiro episódio de Friends. O primeiro conjunto veio de um grupo profissional de fãs que traduziu cuidadosamente os diálogos. O segundo usou um conhecido motor de tradução online. O terceiro usou o ChatGPT, instruído apenas a traduzir as falas em inglês para um chinês natural. Todas as legendas eram bilíngues, com o chinês acima do inglês, e incluíam momentos delicados que envolviam jogos de palavras, sarcasmo ou mudanças emocionais, que são especialmente importantes na comédia.

Para entender como os espectadores reagiram, a equipe enviou um pacote online a centenas de participantes chineses. Cada pessoa assistiu a nove trechos: três cenas, cada uma repetida com uma versão diferente de legenda em ordem aleatória para que não soubessem qual era qual. Após cada trio, escolheram quais legendas os ajudaram a acompanhar a trama e avaliaram sua satisfação em uma escala simples de cinco pontos. Uma pergunta final indagou o que valorizavam mais nas legendas, como precisão, facilidade de compreensão ou fluidez com o vídeo.

Medindo a qualidade das legendas por duas perspectivas

O estudo não se limitou a opiniões pessoais. Os autores também submeteram as três versões de legendas a um sistema de avaliação especializado que pontua o quanto as legendas preservam o significado original, soam naturais e se ajustam confortavelmente à tela. Esse sistema rastreia diferentes tipos de erros, desde formulações desajeitadas até alterações graves de sentido, e converte-os em uma pontuação geral de qualidade. Ao comparar essas pontuações com as avaliações dos espectadores, os pesquisadores puderam ver se avaliações no estilo de especialistas convergiam com a experiência do público comum.

Em todas as três cenas, as legendas do ChatGPT superaram claramente as do motor de tradução tradicional tanto nas pontuações técnicas quanto na satisfação dos espectadores. Em alguns casos, especialmente em um trecho, a versão do ChatGPT obteve até nota superior às legendas profissionais na avaliação técnica. Os espectadores frequentemente consideraram suas falas naturais e fáceis de acompanhar, e muitos não conseguiram distingui-las de trabalhos humanos de forma confiável. Contudo, em média, as legendas feitas por humanos ainda ficaram ligeiramente à frente nas avaliações do público, especialmente ao capturar humor ou expressões culturalmente ricas.

Quem são os espectadores muda o que eles veem

O estudo constatou que o histórico das pessoas influenciou a acuidade com que julgavam as legendas. Estudantes do ensino médio tendiam a avaliar as três versões de forma semelhante, e às vezes gostavam das legendas do ChatGPT tanto quanto ou até mais que as originais feitas por fãs. Universitários e pós-graduados foram mais críticos e melhores em detectar diferenças entre as versões. Espectadores que já tinham assistido Friends antes também eram mais sensíveis a nuances, favorecendo as legendas originais, enquanto aqueles novos na série tinham dificuldade em distinguir as versões. Se alguém estudou línguas importou menos do que seu nível geral de educação e o quanto conheciam a série.

Por que a IA ainda precisa do toque humano

Exemplos concretos no artigo mostram tanto a promessa quanto os limites das legendas geradas por IA. Em algumas piadas, o ChatGPT produziu um chinês mais fluido e vívido do que a versão profissional, fazendo o humor soar mais imediato. Em outros momentos, traduziu palavra por palavra e deixou de captar sentidos ocultos ou pistas culturais, o que poderia confundir espectadores. A pesquisa confirmou que o público valoriza principalmente entender a trama, com precisão e bom sincronismo também aparecendo em posições elevadas. Os autores concluem que ferramentas de IA como o ChatGPT já oferecem legendas para sitcoms melhores do que motores de tradução mais antigos e podem, às vezes, rivalizar com o trabalho humano, mas ainda precisam de pósedição e revisão cuidadosas. Por enquanto, os melhores resultados vêm da combinação da rapidez da IA com o julgamento humano, ajudando mais espectadores a aproveitar séries estrangeiras sem perder o cerne do humor.

Citação: Chen, S., Hu, X. Evaluating the quality of AI-generated subtitle translations from a reception-oriented perspective: a comparative study of ChatGPT, human, and neural machine translations in sitcoms. Humanit Soc Sci Commun 13, 748 (2026). https://doi.org/10.1057/s41599-026-07414-6

Palavras-chave: legendas, tradução audiovisual, ChatGPT, sitcoms, recepção do espectador