Alımlama odaklı bir bakış açısından yapay zeka üretimi altyazı çevirilerinin kalitesinin değerlendirilmesi: Çizgi dizi sitcomlarda ChatGPT, insan ve sinirsel makine çevirilerinin karşılaştırmalı bir çalışması

Neden komedi altyazıları önemlidir

Akış servisleri yabancı dizileri günlük eğlencenin bir parçası haline getirdi, ancak altyazılar doğruluğu kaçırırsa espriler etkisini yitirebilir. Bu çalışma, farklı türde Çince–İngilizce altyazıların klasik Amerikan sitcomu Friends için ne kadar iyi işlediğini inceliyor ve her izleyici için önemli basit bir soruyu soruyor: ChatGPT gibi yapay zeka araçları diziyi izlemeyi daha mı kolaylaştırıyor yoksa zorlaştırıyor mu?

Altyazı oluşturmanın farklı yöntemleri

Araştırmacılar Friends’in ilk bölümünden kısa klipler için üç tür altyazıyı karşılaştırdı. İlk set, diyalogları özenle çeviren profesyonel bir hayran grubundan geldi. İkinci set bilinen bir çevrimiçi çeviri motoru kullanılarak oluşturuldu. Üçüncü set ise sadece İngilizce replikleri doğal Çince’ye çevirmesi istenen ChatGPT tarafından üretildi. Tüm altyazılar iki dilliydi; Çince üstte İngilizce altta yer alıyordu ve özellikle komedide önemli olan kelime oyunları, alaycı ifadeler veya duygusal dönüşler içeren zorluklu anları barındırıyordu.

İzleyicilerin nasıl tepki verdiğini anlamak için ekip yüzlerce Çinli katılımcıya çevrimiçi bir paket gönderdi. Her kişi dokuz klip izledi: üç sahne, her biri farklı bir altyazı versiyonuyla rasgele sırada tekrarlandı, böylece hangi versiyonun hangisi olduğu bilinmiyordu. Her üçlüden sonra katılımcılar hangi altyazıların konuyu takip etmelerine yardımcı olduğunu seçti ve basit beş puanlı bir ölçekte memnuniyetlerini derecelendirdi. Son bir soru, doğruluk, anlaşılma kolaylığı veya video ile akıcı uyum gibi altyazılarda en çok neyi önemsediklerini sordu.

Altyazı kalitesini iki açıdan ölçmek

Çalışma yalnızca kişisel görüşlerle sınırlı kalmadı. Yazarlar ayrıca üç altyazı versiyonunu, altyazıların özgün anlamla ne kadar örtüştüğünü, akıcılığını ve ekrana rahat sığıp sığmadığını puanlayan uzman bir değerlendirme sisteminden geçirdiler. Bu sistem hantal ifadelerden anlam değişikliklerine kadar farklı hata türlerini izleyip bunları genel bir kalite puanına dönüştürüyor. Bu puanları izleyici derecelendirmeleriyle karşılaştırarak, uzman tarzı değerlendirmelerin günlük izleyici deneyimiyle ne ölçüde örtüştüğünü görebildiler.

Üç sahnenin tamamında, ChatGPT altyazıları hem uzman puanlarında hem de izleyici memnuniyetinde geleneksel makine çevirisi motorunun altyazılarını açıkça geride bıraktı. Bazı durumlarda, özellikle bir klipte, ChatGPT versiyonu teknik değerlendirmede profesyonel altyazılardan daha yüksek puan aldı. İzleyiciler genellikle onun satırlarını doğal ve takip etmesi kolay buldu ve birçok kişi onları insan yapımıyla güvenilir biçimde ayırt edemedi. Ancak ortalamada, insan yapımı altyazılar izleyici puanlarında hâlâ biraz önde çıktı; özellikle mizahı veya kültürel açıdan zengin ifadeleri yakalamada insan çevirileri daha başarılı oldu.

İzleyicilerin kim olduğu gördüklerini değiştiriyor

Çalışma, insanların geçmişlerinin altyazıları nasıl değerlendirdiklerini belirgin şekilde şekillendirdiğini ortaya koydu. Lise öğrencileri genellikle üç versiyonu benzer bir şekilde puanlama eğilimindeydi ve bazen ChatGPT altyazılarını orijinal hayran yapımı kadar ya da ondan daha fazla beğeniyorlardı. Üniversite öğrencileri ve lisansüstü eğitimliler daha eleştirel olup versiyonlar arasındaki farkları daha iyi fark ediyordu. Daha önce Friends’i izlemiş olan izleyiciler nüanslara karşı daha duyarlıydı ve orijinal altyazıları tercih etme eğilimindeydi; diziye yeni olanlar ise versiyonları ayırt etmekte zorlanıyordu. Birinin dil eğitimi görüp görmemesi, genel eğitim düzeyi ve diziye aşinalığı kadar belirleyici değildi.

Neden yapay zekanın hâlâ insan dokunuşuna ihtiyacı var

Makaledeki somut örnekler, yapay zeka altyazılarının hem vaatlerini hem de sınırlarını gösteriyor. Bazı esprilerde ChatGPT, profesyonel versiyondan daha akıcı ve canlı Çince üreterek mizahı daha doğrudan hissettirdi. Diğer anlarda ise sözcük kelime çeviri yapıp gizli anlamları veya kültürel ipuçlarını kaçırdı ve bu izleyicileri şaşırtabilirdi. Anket, izleyicilerin en çok konuyu anlama meselesine önem verdiğini; doğruluk ve zamanlamanın akıcılığının da yüksek sıralarda yer aldığını doğruladı. Yazarlar, ChatGPT gibi yapay zeka araçlarının eski makine çeviri motorlarına göre zaten daha iyi sitcom altyazıları sunduğu ve bazen insan yapımıyla yarışabildiği sonucuna varıyor, ancak hâlâ dikkatli son düzenleme ve düzeltme gerektiriyor. Şimdilik en iyi sonuçlar, yapay zekanın hızını insan yargısıyla birleştirmekten geliyor; bu da daha fazla izleyicinin yabancı dizilerin mizahını kaybetmeden keyfini çıkarmasına yardımcı oluyor.

Atıf: Chen, S., Hu, X. Evaluating the quality of AI-generated subtitle translations from a reception-oriented perspective: a comparative study of ChatGPT, human, and neural machine translations in sitcoms. Humanit Soc Sci Commun 13, 748 (2026). https://doi.org/10.1057/s41599-026-07414-6

Anahtar kelimeler: altyazılar, görsel-işitsel çeviri, ChatGPT, sitcomlar, izleyici alımlaması