מסגרת אוטומטית לחינוך קוראני לאנשים החירשים באמצעות סיווג תנוחת גוף ושילוב לשון הסימנים הערבית

פתיחת טקסט מקודש לקולות שקטים

עבור מוסלמים רבים חירשים או מתקשים בשמיעה, לימוד קריאת הקוראן יכול להיות קשה מאוד, משום שההוראה המסורתית נשענת על שמיעה והגייה חוזרת. מחקר זה מציג סיוע הוראתי מבוסס טכנולוגיה ש"רואה" מחוות בלשון הסימנים הערבית ומקשרת אותן לפסוקים מפרק קצר בקוראן. על ידי הפיכת תנועות גוף לגשר בין סימנים לכתוב, המערכת שואפת להפוך את הלימוד הדתי לכלל-כליל יותר עבור מליונים המתקשרים בעיקר בלשון הסימנים.

מדוע לומדים עם לקות שמיעה נותרו מחוץ

מוסלמים חירשים לעיתים מסתמכים על מחווה וסימנים לתקשורת, אך רוב ההוראה הקוראנית בנויה סביב קול — המורים מקריאים בקול, התלמידים מחקים את המלודיה וההגייה. משפחות עשויות שלא להכיר היטב את לשון הסימנים ומתרגמים מוסמכים דלים, במיוחד בתחום החומר הדתי. כתוצאה מכך, מאמינים חירשים רבים מתקשים לקבל את אותה רמת חינוך רוחני כמו חבריהם שומעי הקול. התקדמות אחרונה בראייה ממוחשבת ובינה מלאכותית, היכולות לזהות תנועות ידיים וגוף מתמונות מצלמה, מציעה דרך לשנות זאת על ידי הפיכת לשון הסימנים למשהו שמחשב יכול להבין ולהגיב אליו בזמן אמת.

הפיכת מחוות ליחידות הניתנות ללימוד

החוקרים התרכזו בסורת אל-אכלס, פרק קצר אך עשיר תיאולוגית שרבים ממוסלמים שיננו מוקדם בחייהם. בעבודה עם מוסדות המשרתים משתמשים חירשים במצרים, הם הקליטו 2,054 תמונות של מחוות בלשון הסימנים הערבית התואמות למילים קוראניות בודדות מתוך פרק זה. כדי למנוע בלבול במשמעות ובהגייה, כל מחווה תויגה הן בכתב ערבי והן במערכת תעתיק סטנדרטית הנפוצה במחקרים אסלאמיים אקדמיים. תיוג קפדני זה מבטיח שהמערכת מקשרת כל סימן למונח הקוראני הנכון, תוך שמירה על גמישות להרחבה לפרקים נוספים בעתיד.

כיצד המחשב לומד לראות תנוחות תפילה

בלב המערכת יש צינור חזותי שמזהה קודם כל את תנוחת גופו של הממחיין ואחר כך מסווג איזו מילה קוראנית נחתמת. כל התמונות משוננעות ומנוקות לפורמט סטנדרטי. ערכת תוכנה בשם MediaPipe מזהה 33 נקודות מפתח בגוף — כמו כתפיים, מרפקים ושורשים — ועוקבת אחרי מיקומן. קואורדינטות אלה יוצרות תיאור קומפקטי של כל תנוחה, שמוזן לשלושה סוגי מודלים של למידת מכונה: פרספטרון רב-שכבתי מותאם (רשת עצבית פשוטה), מכונת וקטורים תמיכה, ויער אקראי המורכב מרבבות עצי החלטה קטנים. במקביל, מודל עיבוד עמוק חזק יותר, ResNet50, מנתח את התמונה המלאה כדי ללמוד דפוסים חזותיים מפורטים המשויכים לכל מילה.

זיהוי סימני קוראן מדהים בדיוקו

כדי לבחון את המערכת, המחברים חילקו את מאגר הנתונים שלהם לסטים של אימון, ולידציה ובדיקה והעריכו עד כמה כל מודל הכיר נכונה את המחוות. כל הגישות הציגו ביצועים חזקים, כאשר המודלים המבוססי-תנוחה זיהו נכון את רוב הסימנים על פני 14–16 מעמדות של מילים קוראניות. לדוגמה, מודל היער האקראי השיג ציונים כמעט מושלמים עבור מילים רבות, עם רק כמה בלבולים בין מחוות דומות חזותית. המודל המשולב המבוסס על ResNet50, הבוחן ישירות את התמונות תוך שהוא גם מנצל את מידע התנוחה, הגיע לביצועים כמעט חסרי דופי על נתוני הבדיקה: כל מחווה סווגה נכונה, ומדדי דיוק, דיוק-חיוביות (precision), זיכרון (recall) וניקוד הבחנה הנקרא ROC–AUC הגיעו כולם לערכיהם המקסימליים. תוצאות אלה מרמזות שגם מאגרי תמונות יחסית קטנים, כאשר מוכנים בקפידה, יכולים לתמוך בזיהוי מדויק מאוד של לשון סימנים דתית.

הבטחה, מגבלות והדרך קדימה

אף על פי שמספרי הביצועים מרשימים, המחברים מדגישים שהם חלים רק על תנאי המחקר המבוקרים שלהם: פרק יחיד, מספר מוגבל של ממחיינים, ותמונות סטטיות במקום סימון רציף בתנועה. שימוש בעולם האמיתי ידרוש מאגרים גדולים ומגוונים יותר, כיסוי טוב יותר של תנועות גוף תחתונות ובדיקה מדוקדקת עם ממחיינים מאזורים שונים. עם זאת, העבודה מראה כי כלי ראייה ולמידה מודרניים יכולים לזהות באופן אמין סימני קוראן ולספק משוב מיידי, למשל על ידי הצגת סימן וי או אנימציית תיקון כאשר הלומד מבצע מחווה. במילים פשוטות, זה אומר שתלמידה חירשת יכולה לתרגל פסוקים קוראנים בסימנים מול מצלמה פשוטה ולקבל הנחיה ללא צורך במתרגם חי — צעד חשוב לקראת הפיכת הידע המקודש לנגיש יותר לכולם.

ציטוט: AbdElghfar, H., Youness, H.A., Wahba, M. et al. An automated framework for qur’anic education of the hearing-impaired using body pose classification and Arabic sign language integration. Sci Rep 16, 5939 (2026). https://doi.org/10.1038/s41598-026-36578-z

מילות מפתח: חינוך קוראני, לשון הסימנים הערבית, לומדים עם לקות שמיעה, זיהוי תנוחה, טכנולוגיה מסייעת