Utvärdering av kvaliteten på AI-genererade undertextöversättningar ur ett mottagningsorienterat perspektiv: en jämförande studie av ChatGPT-, mänskliga och neurala maskinöversättningar i sitcoms

Varför undertexter för komedi spelar roll

Strömningstjänster har förvandlat utländska TV-serier till vardagsunderhållning, men skämt kan falla platt om undertexterna misslyckas. Denna studie undersöker hur väl olika typer av kinesisk–engelska undertexter fungerar för den klassiska amerikanska sitcomen Friends och ställer en enkel fråga som är viktig för varje tittare: gör AI-verktyg som ChatGPT det lättare eller svårare att njuta av serien?

Olika sätt att skapa undertexter

Forskarna jämförde tre typer av undertexter för korta klipp från det första avsnittet av Friends. Den första uppsättningen kom från en professionell fangrupp som noggrant översatte dialogen. Den andra uppsättningen använde en välkänd onlineöversättningsmotor. Den tredje använde ChatGPT, ombedd endast att översätta de engelska replikerna till naturlig kinesiska. Alla undertexter var tvåspråkiga, med kinesiska ovanför engelska, och innehöll knepiga ögonblick som involverade ordlekar, sarkasm eller känslomässiga skiften, vilket är särskilt viktigt i komedi.

För att förstå hur tittarna reagerade skickade teamet ett webbpaket till hundratals kinesiska deltagare. Varje person såg nio klipp: tre scener, vardera upprepade med en annan undertextversion i slumpmässig ordning så att de inte skulle veta vilken som var vilken. Efter varje trio valde de vilka undertexter som hjälpte dem följa handlingen och betygsatte sin tillfredsställelse på en enkel femgradig skala. En sista fråga frågade vad de värderade mest i undertexter, såsom noggrannhet, lättförståelighet eller flyt i förhållande till videon.

Mäta undertextkvalitet ur två vinklar

Studien nöjde sig inte med personliga åsikter. Författarna körde också de tre undertextversionerna genom ett specialistbedömningssystem som poängsätter hur väl undertexterna återger originalmeningen, läses naturligt och passar skärmen bekvämt. Detta system spårar olika typer av fel, från klumpig formulering till allvarliga förändringar i betydelse, och omvandlar dem till ett övergripande kvalitetsbetyg. Genom att jämföra dessa poäng med tittarnas bedömningar kunde forskarna se om expertrelaterade utvärderingar överensstämde med vardaglig publikupplevelse.

I samtliga tre scener överträffade ChatGPTs undertexter tydligt den traditionella maskinöversättningsmotorn både i expertpoäng och tittartillfredsställelse. I vissa fall, särskilt i ett klipp, fick ChatGPTs version till och med högre teknisk poäng än de professionella undertexterna. Tittare tyckte ofta att dess repliker kändes naturliga och lätta att följa, och många kunde inte pålitligt skilja dem från mänskligt arbete. Men i genomsnitt kom de människoskrevna undertexterna fortfarande ut något före i publikens betyg, särskilt när det gällde att fånga humor eller kulturellt rika uttryck.

Vem tittarna är förändrar vad de ser

Studien visade att människors bakgrunder formade hur skarpt de bedömde undertexterna. Gymnasieelever tenderade att ge alla tre versionerna liknande betyg, och tyckte ibland om ChatGPTs undertexter lika mycket som eller mer än de ursprungliga fanframställda. Universitetstudenter och personer med forskarutbildning var mer kritiska och bättre på att upptäcka skillnader mellan versionerna. Tittare som redan sett Friends tidigare var också mer känsliga för nyanser och föredrog de ursprungliga undertexterna, medan de som var nya till serien hade svårt att skilja versionerna åt. Huruvida någon studerat språk spelade mindre roll än deras allmänna utbildningsnivå och hur bekanta de var med serien.

Varför AI fortfarande behöver en mänsklig touch

Konkreta exempel i artikeln visar både löftet och begränsningarna hos AI-undertexter. I vissa skämt producerade ChatGPT mjukare och mer levande kinesiska än den professionella versionen, vilket gjorde att humorn kändes mer omedelbar. I andra ögonblick översatte den ordagrant och missade dolda meningar eller kulturella antydningar, vilket kunde förbrylla tittare. Undersökningen bekräftade att publiken bryr sig mest om att förstå handlingen, där noggrannhet och smidig timing också rankades högt. Författarna drar slutsatsen att AI-verktyg som ChatGPT redan erbjuder bättre sitcom-undertexter än äldre maskinöversättningsmotorer och ibland kan konkurrera med mänskligt arbete, men att de fortfarande kräver noggrann efterredigering och korrekturläsning. För närvarande ger den bästa resultaten en kombination av AI-hastighet och mänskligt omdöme, vilket hjälper fler tittare att njuta av utländska serier utan att förlora kärnan i humorn.

Citering: Chen, S., Hu, X. Evaluating the quality of AI-generated subtitle translations from a reception-oriented perspective: a comparative study of ChatGPT, human, and neural machine translations in sitcoms. Humanit Soc Sci Commun 13, 748 (2026). https://doi.org/10.1057/s41599-026-07414-6

Nyckelord: undertexter, audiovisuell översättning, ChatGPT, sitcoms, tittarmottagande