EchoNet++: многоязычная коллекция аудио-комментариев футбольных матчей

Почему звучание футбола важно

Тот, кто смотрел большой матч, знает: рев толпы и взлёты и падения голоса комментатора — не менее важная часть драмы, чем сами голы. Тем не менее почти все современные спортивные технологии по-прежнему сосредоточены на том, что видят камеры, а не на том, что слышат микрофоны. В этой статье представлена система и набор данных EchoNet и EchoNet++, которые превращают хаотичное звучание профессиональных футбольных трансляций из разных стран в чистый, поддающийся поиску текст, пригодный для компьютерного анализа. Это позволяет изучать тактику, эмоции и повествование в разных лигах и на разных языках в масштабе, недоступном ни одной команде переводчиков-человеков.

От шумного стадиона к чистому сигналу

Телетрансляции звучат акустически запутанно. Комментаторы говорят на фоне скандирования болельщиков, стадионной музыки и внезапных взрывов аплодисментов. Предшествующие инструменты чаще всего отправляли этот сырой шум прямо в систему распознавания речи, которая испытывала трудности при наложении голосов, смене языков и плохом качестве звука. EchoNet решает задачу как инженерный конвейер, а не как одну хитрую модель. Система начинается с извлечения аудиодорожки из полного видео матча и преобразования её в стандартный качественный формат. Затем сигнал переводят в частотную область, фокусируясь на диапазоне, где находится человеческая речь, при подавлении гудящего баса и резких артефактов. Глубокая модель Demucs дополнительно отделяет звучания, похожие на речь, от остального, оставляя гораздо более чистую дорожку для последующих стадий обработки.

Обучение машин отличать голоса от шума

После очистки звука EchoNet должен решить, когда кто-то действительно говорит и принадлежит ли голос комментатору или толпе. Для этого авторы используют нейронный детектор голосовой активности, который сканирует аудио в коротких окнах и помечает каждый момент как речь или не речь. Обнаруженные фрагменты речи затем исследуют более детально. Сегменты, демонстрирующие устойчивый ритм и структуру устной речи, помечаются как комментарии, а те, что выглядят как взрывы хаотической энергии, помечаются как реакции зрителей. Такое разделение важно: фразы комментатора несут тактическое и повествовательное содержание, тогда как реакции толпы в основном сигнализируют об эмоциональных пиках, таких как голы или упущенные моменты. Разделив источники, система может обрабатывать их по-разному на последующих этапах анализа.

Превращая множество языков в единую историю

EchoNet прогоняет каждый сегмент комментария через несколько версий модели автоматического распознавания речи Whisper, включая стандартные и оптимизированные по скорости варианты. Эти модели обучены на сотнях тысяч часов многоязычного аудио, что делает их подходящими для крупнейших европейских лиг, где комментаторы переключаются между английским, немецким, испанским, итальянским, французским и другими языками. Система сохраняет для каждого сегмента временные метки, язык и расшифровку в структурированных JSON-файлах, привязанных к таймам половин матча. Для клипов на других языках EchoNet сначала транскрибирует оригинальную речь, а затем отправляет текст в переводчик для получения английской версии. Такая двухэтапная схема разделяет ошибки транскрипции и перевода, что облегчает исследователям отладку и сравнение поведения моделей по языкам.

Как оценивают, насколько хорошо всё работает

Поскольку конвейер силён ровно настолько, насколько силён его слабейший этап, авторы оценивают EchoNet по нескольким направлениям. Они вводят новую метрику «Report Accuracy», которая превращает традиционные показатели ошибок слов в более интуитивный процент практически корректного содержания. На трёх наборах данных — включая недавно выпущенную коллекцию EchoNet++ из 20 полных матчей — предобработка с помощью EchoNet последовательно снижает ошибки транскрипции и повышает Report Accuracy на несколько пунктов для каждой протестированной модели Whisper. Меры качества сигнала, которые оценивают, насколько понятной была бы речь для человеческого слушателя, также заметно улучшаются после фильтрации, удаления шума и нормализации. Абляционные исследования, где из конвейера по очереди исключают отдельные компоненты, такие как полосовой фильтр или детектор голосовой активности, показывают, что каждая стадия вносит значимый вклад и в ясность, и в корректность.

Что это значит для болельщиков и аналитиков

Проще говоря, EchoNet и EchoNet++ обеспечивают надёжный способ превращать часы шумных многоязычных комментариев в чистый, синхронизированный по времени текст и индикаторы реакции толпы. На этой основе разработчики могут автоматически выявлять ключевые события по тону и словам комментатора, сопоставлять эти моменты с всплесками реакции публики и строить подробные сводки или подборки моментов без ручного логирования. Важно, что набор данных и код будут доступны для исследовательского использования, давая сообществу общую воспроизводимую платформу для изучения футбола через звук. Для болельщиков и аналитиков эта работа подталкивает спортивное освещение к будущему, где звуковая дорожка матча становится столь же поддающейся поиску и анализу, как и видео.

Цитирование: Majeed, F., Nazir, M., Agus, M. et al. EchoNet++: A multilingual soccer match audio commentary dataset. Sci Rep 16, 8884 (2026). https://doi.org/10.1038/s41598-026-39884-8

Ключевые слова: анализ футбола, спортивное аудио, распознавание речи, многоязычные комментарии, анализ трансляций