Оценка качества переводов субтитров, созданных ИИ, с точки зрения восприятия зрителем: сравнительное исследование ChatGPT, человеческих и нейронных машинных переводов в ситкомах

Почему субтитры для комедии важны

Стриминг сделал зарубежные сериалы частью повседневного досуга, но шутки могут потерять эффект, если субтитры промахиваются. В этом исследовании рассматривается, насколько эффективны разные типы китайско-английских субтитров для классического американского ситкома «Друзья», и задается простой, но важный для любого зрителя вопрос: облегчают ли инструменты ИИ, такие как ChatGPT, просмотр или, наоборот, мешают ему?

Разные способы создания субтитров

Исследователи сравнили три вида субтитров для коротких сцен из первой серии «Друзей». Первый набор подготовила профессиональная фанатская группа, которая тщательно переводила диалоги. Второй набор получен с помощью распространенного онлайн-переводчика. Третий — с использованием ChatGPT, которому поручили лишь перевести англоязычные реплики на естественный китайский. Все субтитры были двуязычными — китайский сверху и английский снизу — и включали сложные моменты с игрой слов, сарказмом или эмоциональными сдвигами, которые особенно важны в комедии.

Чтобы понять реакцию зрителей, команда разослала онлайн-пакет сотням китайских участников. Каждый смотрел девять клипов: три сцены, каждая воспроизводилась трижды с разными версиями субтитров в случайном порядке, чтобы пользователь не знал, какая версия какая. После каждого трио участники выбирали, какие субтитры помогали им следить за сюжетом, и оценивали удовлетворение по простой пятибалльной шкале. В финальном вопросе их просили выбрать, что они ценят в субтитрах больше всего — точность, легкость понимания или плавное сочетание с видео.

Измерение качества субтитров с двух сторон

Исследование не ограничилось личными мнениями. Авторы также прогнали три версии субтитров через специализированную рейтинговую систему, которая оценивает, насколько субтитры соответствуют исходному смыслу, читаются плавно и удобно помещаются на экране. Система отслеживает разные типы ошибок — от неуклюжих формулировок до серьезных искажений смысла — и переводит их в общий показатель качества. Сопоставляя эти оценки с рейтингами зрителей, исследователи могли проверить, совпадают ли экспертные оценки со повседневным восприятием аудитории.

Во всех трех сценах субтитры ChatGPT явно опережали те, что дала традиционная система машинного перевода, как по экспертным оценкам, так и по удовлетворению зрителей. В некоторых случаях, особенно в одном фрагменте, версия ChatGPT даже набрала выше профессионального перевода в технической оценке. Зрители часто считали его реплики естественными и легко воспринимаемыми, и многие не могли надежно отличить их от работы человека. Однако в среднем субтитры, созданные людьми, все же получили небольшое преимущество в оценках аудитории, особенно в передаче юмора и культурно насыщенных выражений.

Кто смотрит, — тот и видит

Исследование показало, что происхождение зрителей формировало их критичность при оценке субтитров. Ученики старших классов склонны были оценивать все три версии схожо и иногда ставили субтитрам ChatGPT такую же или даже более высокую оценку, чем фанатским. Студенты университетов и обладатели степеней магистра оказывались более придирчивыми и лучше замечали различия между версиями. Те, кто уже смотрел «Друзья», тоже были более чувствительны к нюансам и предпочитали оригинальные субтитры, в то время как новички в сериале хуже отличали версии друг от друга. Изучение языков влияло меньше, чем общий уровень образования и знакомство с сериалом.

Почему ИИ все еще нуждается в человеческом участии

Конкретные примеры в статье демонстрируют и преимущества, и ограничения субтитров, созданных ИИ. В некоторых шутках ChatGPT выдал более плавный и живой китайский, чем профессиональная версия, что делало юмор более непосредственным. В других моментах он переводил дословно и упускал скрытые смыслы или культурные отсылки, что могло ставить зрителя в тупик. Опрос подтвердил: аудитории важнее всего понимать сюжет, а также высоко ценятся точность и синхронность с видео. Авторы делают вывод, что инструменты ИИ вроде ChatGPT уже предлагают лучшие субтитры для ситкомов, чем старые машинные переводчики, и порою могут соперничать с человеком, но им по-прежнему требуется тщательная постправка и корректура. Пока лучшие результаты достигаются при сочетании скорости ИИ и человеческого суждения, что помогает большему числу зрителей наслаждаться зарубежными шоу, не теряя сути юмора.

Цитирование: Chen, S., Hu, X. Evaluating the quality of AI-generated subtitle translations from a reception-oriented perspective: a comparative study of ChatGPT, human, and neural machine translations in sitcoms. Humanit Soc Sci Commun 13, 748 (2026). https://doi.org/10.1057/s41599-026-07414-6

Ключевые слова: субтитры, аудиовизуальный перевод, ChatGPT, ситкомы, восприятие зрителем