Évaluer la qualité des sous-titres générés par l'IA selon une perspective centrée sur la réception : étude comparative de ChatGPT, des traductions humaines et des traductions automatiques neuronales dans les sitcoms

Pourquoi les sous-titres pour la comédie comptent

Le streaming a fait des séries étrangères un divertissement quotidien, mais les blagues peuvent tomber à plat si les sous-titres ne sont pas à la hauteur. Cette étude examine l'efficacité de différents types de sous-titres chinois–anglais pour la sitcom américaine classique Friends, et pose une question simple mais essentielle pour tout spectateur : des outils d'IA comme ChatGPT facilitent-ils ou compliquent-ils l'appréciation de la série ?

Différentes façons de créer des sous-titres

Les chercheurs ont comparé trois types de sous-titres pour des extraits du premier épisode de Friends. Le premier jeu provenait d'un groupe de fans professionnel qui a traduit le dialogue avec soin. Le deuxième était produit par un moteur de traduction en ligne bien connu. Le troisième a été généré par ChatGPT, simplement chargé de traduire les répliques anglaises en chinois naturel. Tous les sous-titres étaient bilingues, avec le chinois au-dessus de l'anglais, et comprenaient des moments délicats impliquant jeux de mots, sarcasme ou basculements émotionnels, particulièrement importants en comédie.

Pour comprendre la réaction des spectateurs, l'équipe a envoyé un pack en ligne à des centaines de participants chinois. Chaque personne a regardé neuf extraits : trois scènes, chacune répétée avec une version différente des sous-titres dans un ordre aléatoire afin qu'ils ne sachent pas laquelle était laquelle. Après chaque trio, ils choisissaient quels sous-titres les aidaient à suivre l'intrigue et notaient leur satisfaction sur une échelle simple à cinq points. Une question finale demandait ce qu'ils valorisaient le plus dans les sous-titres, comme la fidélité, la facilité de compréhension ou la fluidité avec la vidéo.

Mesurer la qualité des sous-titres sous deux angles

L'étude ne s'est pas arrêtée aux opinions personnelles. Les auteurs ont également fait passer les trois versions des sous-titres dans un système d'évaluation spécialisé qui note la fidélité au sens d'origine, la fluidité et l'adaptation à l'écran. Ce système recense différents types d'erreurs, de la formulation maladroite aux changements sérieux de sens, et les convertit en un score global de qualité. En comparant ces scores avec les évaluations des spectateurs, les chercheurs ont pu vérifier si les appréciations d'experts correspondaient à l'expérience du public.

Sur les trois scènes, les sous-titres de ChatGPT ont nettement surpassé ceux du moteur de traduction traditionnel, tant dans les scores d'expert que dans la satisfaction des spectateurs. Dans certains cas, en particulier pour un extrait, la version de ChatGPT a même obtenu un meilleur score que les sous-titres professionnels dans l'évaluation technique. Les spectateurs trouvaient souvent ses répliques naturelles et faciles à suivre, et beaucoup ne pouvaient pas les distinguer de celles produites par des humains de façon fiable. Toutefois, en moyenne, les sous-titres faits par des humains restaient légèrement en tête dans les notes du public, surtout pour rendre l'humour ou les expressions culturellement chargées.

Le profil des spectateurs change leur perception

L'étude a montré que le parcours des personnes influençait la sévérité de leur jugement. Les lycéens avaient tendance à noter les trois versions de façon similaire, et appréciaient parfois autant, voire plus, les sous-titres de ChatGPT que ceux produits par les fans professionnels. Les étudiants universitaires et les titulaires de diplômes supérieurs se montraient plus critiques et plus aptes à repérer les différences entre les versions. Les spectateurs qui avaient déjà vu Friends étaient aussi plus sensibles aux nuances, favorisant les sous-titres originaux, tandis que les nouveaux venus dans la série avaient du mal à distinguer les versions. Le fait d'avoir étudié les langues comptait moins que le niveau d'éducation général et la familiarité avec la série.

Pourquoi l'IA a encore besoin d'une touche humaine

Des exemples concrets présentés dans l'article montrent à la fois le potentiel et les limites des sous-titres produits par l'IA. Pour certaines blagues, ChatGPT a fourni un chinois plus fluide et plus vivant que la version professionnelle, rendant l'humour plus immédiat. À d'autres moments, il a traduit mot à mot et manqué des sens cachés ou des allusions culturelles, ce qui pouvait déconcerter le public. L'enquête a confirmé que les spectateurs tiennent avant tout à comprendre l'intrigue, la fidélité et le bon timing occupant aussi des places importantes. Les auteurs concluent que des outils comme ChatGPT offrent déjà de meilleurs sous-titres de sitcom que les anciens moteurs de traduction automatique et peuvent parfois rivaliser avec le travail humain, mais qu'ils nécessitent encore une relecture et un post-éditing attentifs. Pour l'instant, les meilleurs résultats proviennent de la combinaison de la rapidité de l'IA et du jugement humain, permettant à davantage de spectateurs de profiter de séries étrangères sans perdre l'essence de l'humour.

Citation: Chen, S., Hu, X. Evaluating the quality of AI-generated subtitle translations from a reception-oriented perspective: a comparative study of ChatGPT, human, and neural machine translations in sitcoms. Humanit Soc Sci Commun 13, 748 (2026). https://doi.org/10.1057/s41599-026-07414-6

Mots-clés: sous-titres, traduction audiovisuelle, ChatGPT, sitcoms, réception des spectateurs