Фреймворк нейронной сети для выбора алгоритмов улучшения видео в реальном времени на мобильных устройствах

Более четкое видео в вашем кармане

От видеозвонков с семьей до потокового просмотра фильмов и приложений дополненной реальности — мы ожидаем, что наши телефоны обеспечат четкое, ясное видео в любом месте и в любое время. Однако каждое мобильное устройство — это искусство компромисса: оно должно улучшать качество изображения, не разряжая быстро батарею и не замедляя работу. В этой статье рассматривается интеллектуальная система принятия решений, которая помогает телефонам автоматически выбирать «лучший» метод улучшения видео в реальном времени, находя баланс между визуальным качеством, скоростью и энергопотреблением.

Почему улучшение видео тяжело дается телефонам

Современные методы улучшения видео могут удалять шум, повышать разрешение и делать темные или низкоконтрастные сцены более различимыми. Но многие из самых мощных методов вычислительно затратны, что плохо для небольших процессоров и ограниченных батарей. Мобильным устройствам приходится одновременно учитывать несколько конкурирующих требований: как быстро работает алгоритм, насколько хорошее изображение он даёт, сколько энергии потребляет и насколько сложно его реализовать на скромном оборудовании. Ручной выбор между несколькими кандидатами для каждой ситуации сложен и подвержен ошибкам, особенно когда условия меняются от кадра к кадру.

Сочетание человеческого суждения и умной математики

Авторы предлагают новую схему принятия решений, которая объединяет две идеи: нечеткую логику и нейронные сети. Нечеткая логика позволяет работать с неточными, «человеческими» суждениями типа «этот метод довольно быстрый, но несколько энергоёмкий», вместо жестких да/нет оценок. Нейронные сети, вдохновленные связями между нервными клетками, — мощные распознаватели паттернов. В этой схеме эксперты сначала оценивают каждый метод улучшения видео по четырем простым критериям: скорость обработки, улучшение визуального качества, энергопотребление и сложность реализации. Эти оценки не рассматриваются как фиксированные баллы, а как «нечеткие» значения, способные выражать оттенки предпочтений и неопределённость.

Компактный многоуровневый движок принятия решений

Чтобы объединить эти нечеткие оценки, авторы используют семейство математических инструментов, называемых нормами Сугено–Вебера. Эти нормы действуют как настраиваемые «смесители», которые агрегируют разные фрагменты информации, учитывая их взаимодействие. Нечеткие входные данные от нескольких экспертов сначала смешиваются в скрытом слое с использованием специализированного шага усреднения. Второй шаг агрегации формирует общий балл для каждого кандидатного алгоритма. Простые функции активации — математические фильтры, часто применяемые в глубоком обучении — затем преобразуют эти комбинированные значения в конечные выходы. Авторы сравнивают две такие функции (сигмоидную и swish) и показывают, что они дают очень похожие ранжирования, что указывает на стабильность и надежность движка принятия решений.

Испытание четырех методов улучшения видео

Фреймворк применяется к четырем распространенным методам улучшения видео на мобильных устройствах. Адаптивная гистограммная эквализация повышает локальный контраст, особенно при неравномерном освещении; глубокое обучение для суперразрешения пытается восстановить мелкие детали из низкоразрешённого входа с помощью нейронных сетей; денойзинг на основе вейвлетов уменьшает шум, анализируя изображение на нескольких масштабах; а фильтрация в частотной области манипулирует шаблонами в частотной области, чтобы подчеркнуть или подавить определенные характеристики. Каждый метод оценивают, объединяют мнения экспертов и пропускают через нечеткую нейронную сеть. Система стабильно ранжирует глубокое обучение для суперразрешения как лучший выбор, обеспечивающий наилучший общий баланс скорости, качества, энергопотребления и сложности при заданных экспертных оценках.

Надежные выборы для реальных устройств

Авторы также варьируют ключевые внутренние параметры, чтобы проверить чувствительность ранжирования к настройкам. Хотя точные числовые баллы немного смещаются, общий порядок четырех методов не меняется, что указывает на устойчивость выводов модели. Затем они сравнивают свой нечеткий нейронный подход с несколькими другими известными методами принятия решений и обнаруживают, что те также указывают на глубокое обучение для суперразрешения как на лучший вариант. Для неспециалиста вывод прост: аккуратно сочетая экспертное мнение с компактной, эффективно вычисляемой нейронной сетью, этот фреймворк может помочь телефонам и другим небольшим устройствам автоматически выбирать наиболее подходящую стратегию улучшения видео в реальном времени — обеспечивая более четкое, резкое изображение без потери отзывчивости или времени автономной работы.

Цитирование: Khan, M., Rahman, M.I. & Ziar, R.A. A neural network framework for selecting real-time video enhancement algorithms on mobile devices. Sci Rep 16, 5257 (2026). https://doi.org/10.1038/s41598-026-36099-9

Ключевые слова: улучшение мобильного видео, нечеткие нейронные сети, глубокое обучение суперразрешения, обработка изображений в реальном времени, модели принятия решений