Ocena jakości automatycznych tłumaczeń napisów generowanych przez AI z perspektywy recepcyjnej: badanie porównawcze ChatGPT, tłumaczeń ludzkich i neuronowych w serialach sitcom

Dlaczego napisy w komedii są ważne

Platformy streamingowe uczyniły zagraniczne seriale codzienną rozrywką, ale żarty mogą stracić impet, jeśli napisy nie trafiają w sedno. To badanie analizuje, jak dobrze różne rodzaje napisów chińsko‑angielskich działają w przypadku klasycznego amerykańskiego sitcomu Friends i stawia proste, istotne pytanie dla każdego widza: czy narzędzia AI takie jak ChatGPT ułatwiają, czy utrudniają czerpanie przyjemności z oglądania?

Różne sposoby tworzenia napisów

Naukowcy porównali trzy rodzaje napisów do krótkich fragmentów z pierwszego odcinka Friends. Pierwszy zestaw pochodził od profesjonalnej grupy fanowskiej, która starannie przetłumaczyła dialogi. Drugi wygenerował znany internetowy silnik tłumaczący. Trzeci przygotował ChatGPT, prosząc jedynie o przetłumaczenie linek po angielsku na naturalny chiński. Wszystkie napisy były dwujęzyczne — chiński powyżej angielskiego — i obejmowały trudne momenty zawierające grę słów, sarkazm lub zwroty emocjonalne, które są szczególnie istotne w komedii.

Aby zbadać reakcje widzów, zespół przesłał online materiały setkom chińskich uczestników. Każda osoba obejrzała dziewięć klipów: trzy sceny, z których każda powtórzona była w trzech wersjach napisów w losowej kolejności, tak by uczestnicy nie wiedzieli, która jest która. Po obejrzeniu każdej trójki wybierali, które napisy pomagają śledzić fabułę, i oceniali swoje zadowolenie na prostej pięciostopniowej skali. Ostatnie pytanie dotyczyło tego, co najbardziej cenią w napisach — np. dokładność, łatwość zrozumienia czy płynność z obrazem.

Pomiary jakości napisów z dwóch perspektyw

Badanie nie ograniczyło się do opinii widzów. Autorzy poddali trzy wersje napisów specjalistycznemu systemowi oceniającemu, który punktuje zgodność z oryginalnym znaczeniem, płynność lektury oraz dopasowanie do ekranu. System ten śledzi różne rodzaje błędów — od niefortunnego sformułowania po istotne zmiany sensu — i przekształca je w ogólną ocenę jakości. Porównując te oceny z wynikami widzów, badacze mogli sprawdzić, czy ekspertyzy korelują z doświadczeniem zwykłej publiczności.

We wszystkich trzech scenach napisy ChatGPT wyraźnie przewyższały te z tradycyjnego silnika maszynowego zarówno w ocenach eksperckich, jak i w satysfakcji widzów. W niektórych przypadkach, zwłaszcza w jednym klipie, wersja ChatGPT uzyskała nawet wyższą ocenę niż napisy profesjonalne w ocenie technicznej. Widzowie często uznawali jego linie za naturalne i łatwe do śledzenia, a wielu nie potrafiło ich niezawodnie odróżnić od pracy ludzkiej. Jednak średnio napisy tworzone przez ludzi wciąż wypadały nieco lepiej w ocenach widowni, zwłaszcza w przełożeniu humoru lub bogatych kulturowo wyrażeń.

Kto ogląda, wpływa na to, co widzi

Badanie wykazało, że tło widzów wpływało na ostrość ocen napisów. Uczniowie szkół średnich mieli tendencję do oceniania wszystkich trzech wersji podobnie i czasem oceniali napisy ChatGPT równie wysoko lub wyżej niż oryginalne fanowskie. Studenci uniwersytetów i osoby z wyższym wykształceniem były bardziej krytyczne i lepiej wychwytywały różnice między wersjami. Widzowie, którzy wcześniej oglądali Friends, byli także bardziej wrażliwi na niuanse, faworyzując oryginalne napisy, podczas gdy nowicjusze mieli trudności z rozróżnieniem wersji. To, czy ktoś studiował języki, miało mniejsze znaczenie niż ogólny poziom wykształcenia i znajomość serii.

Dlaczego AI wciąż potrzebuje ludzkiego szlifu

Konkretnie przytoczone przykłady w artykule ukazują zarówno obietnice, jak i ograniczenia napisów generowanych przez AI. W niektórych żartach ChatGPT tworzył płynniejszy i żywszy chiński niż wersja profesjonalna, co sprawiało, że humor brzmiał bardziej bezpośrednio. W innych momentach tłumaczył dosłownie i pomijał ukryte znaczenia lub kulturowe aluzje, co mogło zdezorientować widzów. Ankieta potwierdziła, że publiczności najbardziej zależy na zrozumieniu fabuły, a także na dokładności i płynności synchronizacji. Autorzy konkludują, że narzędzia AI takie jak ChatGPT już oferują lepsze napisy do sitcomów niż starsze silniki tłumaczeń maszynowych i czasem mogą dorównywać pracy ludzkiej, ale nadal wymagają starannego post‑edycji i korekty. Na razie najlepsze efekty daje połączenie szybkości AI z ludzkim osądem, co pomaga większej liczbie widzów cieszyć się zagranicznymi serialami, nie tracąc istoty humoru.

Cytowanie: Chen, S., Hu, X. Evaluating the quality of AI-generated subtitle translations from a reception-oriented perspective: a comparative study of ChatGPT, human, and neural machine translations in sitcoms. Humanit Soc Sci Commun 13, 748 (2026). https://doi.org/10.1057/s41599-026-07414-6

Słowa kluczowe: napisy, tłumaczenie audiowizualne, ChatGPT, sitcomy, recepcja widowni