Автоматизированная система для обучения Корану людей с нарушениями слуха на основе классификации поз тела и интеграции арабского жестового языка

Открывая священный текст для молчащих голосов

Для многих мусульман с глухотой и нарушением слуха обучение чтению Корана оказывается крайне трудным, поскольку традиционное преподавание опирается на слух и повторение. В этом исследовании представлен технологический учебный помощник, который «видит» жесты арабского жестового языка и сопоставляет их с аятами короткой суры Корана. Превращая движения тела в мост между жестом и Писанием, он стремится сделать религиозное обучение более инклюзивным для миллионов людей, которые в основном общаются с помощью жестового языка.

Почему обучающиеся с нарушением слуха остаются в стороне

Глухие мусульмане часто полагаются на жесты и знаки в общении, тогда как большая часть обучения Корану строится вокруг звука: преподаватели читают вслух, ученики имитируют мелодию и произношение. Семьи могут плохо знать жестовый язык, а квалифицированных устных или жестовых переводчиков для религиозного материала мало, особенно в некоторых регионах. В результате многие верующие с нарушением слуха сталкиваются с трудностями доступа к тому же уровню духовного образования, что и слышащие сверстники. Недавние успехи в области компьютерного зрения и искусственного интеллекта, способные распознавать движения рук и тела по изображениям с камеры, предлагают способ изменить эту ситуацию, превращая жестовый язык в то, что компьютер может понять и на что может реагировать в реальном времени.

Превращение жестов в учебные единицы

Исследователи сосредоточились на суре аль-Ихлас — короткой, но богословски насыщенной суре, которую многие мусульмане запоминают в раннем возрасте. Во взаимодействии с организациями, работающими с глухими пользователями в Египте, ими было записано 2054 изображения жестов арабского жестового языка, соответствующих отдельным словам Корана из этой суры. Чтобы избежать путаницы в смысле и произношении, каждый жест был промаркирован как арабской графикой, так и стандартизированной транслитерацией, широко используемой в академических исламоведческих исследованиях. Такая тщательная маркировка гарантирует, что система связывает каждый знак с правильным кораническим термином, оставаясь при этом гибкой для расширения на другие суры в будущем.

Как компьютер учится «видеть» молитвенные позы

В основе системы лежит визуальный конвейер, который сначала выявляет позу подающего жест, а затем классифицирует, какое кораническое слово отображается жестом. Все изображения приводятся к единому размеру и очищаются до стандартного формата. Набор программных средств MediaPipe определяет 33 ключевые точки на теле — например, плечи, локти и запястья — и отслеживает их положение. Эти координаты формируют компактное описание каждой позы, которое затем подается в три типа моделей машинного обучения: настраиваемый многослойный персептрон (простая нейронная сеть), метод опорных векторов и случайный лес, состоящий из множества небольших решающих деревьев. Параллельно более мощная модель глубокого обучения ResNet50 анализирует полное изображение, чтобы выявлять детальные визуальные шаблоны, связанные с каждым словом.

Впечатляюще точное распознавание коранических знаков

Для тестирования системы авторы разделили набор данных на обучающую, валидационную и тестовую выборки и оценили, насколько точно каждая модель распознаёт жесты. Все подходы показали высокую эффективность: модели на основе поз правильно идентифицировали большинство знаков в 14–16 классах коранических слов. Например, модель случайного леса достигла почти идеальных результатов для многих слов, допуская лишь несколько ошибок между визуально похожими жестами. Совмещённая модель на базе ResNet50, которая анализирует изображения напрямую и одновременно использует информацию о позах, показала практически безупречную работу на тестовых данных: каждый жест был классифицирован корректно, а стандартные метрики — точность, полнота, recall и показатель дискриминации ROC–AUC — достигли максимальных значений. Эти результаты указывают на то, что даже относительно небольшие коллекции изображений при тщательной подготовке могут обеспечить очень точное распознавание религиозного жестового языка.

Надежда, ограничения и пути развития

Хотя показатели производительности впечатляют, авторы подчёркивают, что они относятся лишь к контролируемым условиям их исследования: одна сура, ограниченное число жестующих и статичные изображения, а не непрерывное движение. Для практического применения потребуются более крупные и разнообразные наборы данных, лучшее покрытие движений нижней части тела и тщательное тестирование с участием жестующих из разных регионов. Тем не менее работа демонстрирует, что современные инструменты компьютерного зрения и обучения могут надёжно распознавать коранические жесты и предоставлять мгновенную обратную связь — например, отображая галочку или корректирующую анимацию, когда обучающийся выполняет жест. Проще говоря, это означает, что глухой ученик может практиковать коранические аяты на жестовом языке перед простой камерой и получать руководство без участия живого переводчика — важный шаг к тому, чтобы сделать священные знания доступными для всех.

Цитирование: AbdElghfar, H., Youness, H.A., Wahba, M. et al. An automated framework for qur’anic education of the hearing-impaired using body pose classification and Arabic sign language integration. Sci Rep 16, 5939 (2026). https://doi.org/10.1038/s41598-026-36578-z

Ключевые слова: Обучение Корану, Арабский жестовый язык, обучающиеся с нарушением слуха, распознавание поз, помогающие технологии