En automatiserad ram för koranundervisning av hörselskadade med kroppshållningsklassificering och integration av arabiskt teckenspråk

Att öppna en helig text för tysta röster

För många döva och hörselskadade muslimer kan det vara mycket svårt att lära sig recitera Koranen, eftersom traditionell undervisning bygger på att lyssna och upprepa. Denna studie presenterar ett teknologibaserat undervisningsstöd som ”ser” gester i arabiskt teckenspråk och kopplar dem till verser från ett kort kapitel i Koranen. Genom att göra kroppsrörelser till en bro mellan tecken och skrift syftar det till att göra religiöst lärande mer inkluderande för miljontals människor som främst kommunicerar med teckenspråk.

Varför hörselskadade elever hamnar utanför

Döva muslimer förlitar sig ofta på gester och tecken för att kommunicera, men större delen av koranundervisningen bygger på ljud—lärare reciterar högt och eleverna imiterar melodi och uttal. Familjer kan sakna kunskap i teckenspråk, och kvalificerade teckentolkare är sällsynta, särskilt för religiöst innehåll. Som ett resultat har många döva svårt att få tillgång till samma nivå av andlig undervisning som hörande jämnåriga. Nyliga framsteg inom datorseende och artificiell intelligens, som kan känna igen hand- och kroppsrörelser i kamerabilder, erbjuder ett sätt att förändra detta genom att göra teckenspråket begripligt för en dator i realtid.

Att förvandla gester till undervisningsbara enheter

Forskarnas fokus låg på Sūrat al-Ikhlāṣ, ett kort men teologiskt innehållsrikt kapitel som många muslimer memorerar tidigt i livet. I samarbete med institutioner som betjänar döva i Egypten spelade de in 2 054 bilder av gester i arabiskt teckenspråk som motsvarar individuella koranord från detta kapitel. För att undvika förvirring kring betydelse och uttal märktes varje gest både med arabisk skrift och ett standardiserat translitterationssystem som används i akademiska islamiska studier. Denna omsorgsfulla märkning säkerställer att systemet kopplar varje tecken till rätt koranterm, samtidigt som det är tillräckligt flexibelt för att kunna utvidgas till andra kapitel i framtiden.

Hur datorn lär sig se bönfulla poser

I systemets kärna finns en visuell pipeline som först upptäcker tecknarens kroppshållning och sedan klassificerar vilket koranord som tecknas. Alla bilder ändras i storlek och rengörs till ett standardformat. Ett mjukvaruverktyg kallat MediaPipe identifierar 33 nyckelpunkter på kroppen—såsom axlar, armbågar och handleder—och spårar deras positioner. Dessa koordinater bildar en kompakt beskrivning av varje pose, vilken sedan matas in i tre typer av maskininlärningsmodeller: ett specialbyggt multilager-perceptron (ett enkelt neuralt nätverk), en supportvektormaskin och en random forest bestående av många små beslutsträd. Parallellt analyserar en kraftfullare djupinlärningsmodell, ResNet50, hela bilden för att lära sig detaljerade visuella mönster som är förknippade med varje ord.

Anmärkningsvärt noggrann igenkänning av korantecken

För att testa systemet delade författarna upp sin datamängd i tränings-, validerings- och testuppsättningar och utvärderade hur korrekt varje modell kände igen gesterna. Alla metoder presterade starkt, där pose-baserade modeller identifierade de flesta tecken korrekt över 14–16 koranordsklasser. Random forest-modellen uppnådde till exempel nästan perfekta resultat för många ord, med endast några få förväxlingar mellan visuellt lika gester. Den kombinerade ResNet50-baserade modellen, som ser direkt på bilderna samtidigt som den också gynnas av pose-information, nådde nästan felfri prestanda på testdata: varje gest klassificerades korrekt och vanliga mått såsom noggrannhet, precision, recall och ett diskrimineringsmått kallat ROC–AUC nådde alla sina högsta värden. Dessa resultat tyder på att även relativt små bildsamlingar, när de förbereds noggrant, kan stödja mycket noggrann igenkänning av religiöst teckenspråk.

Löfte, begränsningar och vägen framåt

Även om prestationssiffrorna är imponerande betonar författarna att de endast gäller de kontrollerade förhållandena i deras studie: ett enda kapitel, ett begränsat antal tecknare och stillbilder snarare än kontinuerlig teckning i rörelse. Verklig användning skulle kräva större, mer varierade datamängder, bättre täckning av underkroppsrörelser och noggranna tester med tecknare från olika regioner. Trots detta visar arbetet att moderna vision- och inlärningsverktyg på ett tillförlitligt sätt kan känna igen korantecken och ge omedelbar återkoppling, till exempel genom att visa en bock eller en korrigerande animation när en lärande utför en gest. I praktiska termer innebär detta att en döv elev skulle kunna öva koranverser i tecken framför en enkel kamera och få vägledning utan att behöva en levande tolk—ett viktigt steg mot att göra helig kunskap mer tillgänglig för alla.

Citering: AbdElghfar, H., Youness, H.A., Wahba, M. et al. An automated framework for qur’anic education of the hearing-impaired using body pose classification and Arabic sign language integration. Sci Rep 16, 5939 (2026). https://doi.org/10.1038/s41598-026-36578-z

Nyckelord: Koranundervisning, Arabiskt teckenspråk, hörselskadade elever, pose-igenkänning, hjälpande teknik