מאגר EEG לפענוח דימוי כתב של מהלכי מקשים בסינית ותנועות פינטין בודדות

לדמיין כתיבה בלי לזוז

לאנשים שאיבדו את היכולת לכתוב לאחר שבץ או פציעה, הפעולה הפשוטה של כתיבת פתק עלולה להפוך לבלתי אפשרית. ממשקי מוח‑מחשב שואפים לצמצם פער זה על ידי המרת מחשבות ישירות לטקסט או לתנועה. עד כה המערכות המוצלחות ביותר הסתמכו על שתלים מוחיים — רבי עוצמה אך חודרניים. המחקר הזה עושה צעד חשוב לעבר חלופה בטוחה יותר, ומשחרר את אוסף ההקלטות הראשוני של גלי מוח של אנשים המדמיינים כתיבת מהלכי מקשים בסינית ותנועות פינטין, ומסלל את הדרך לכלים לא‑חודרניים של "מחשבה‑ל‑טקסט" בעתיד.

מדוע אותות מוחיים לכתיבה חשובים

הכתיבה הנה דרך תקשורת יעילה להפליא: מהירה, דחוסה ומוכרת לרבים. מאמצים רבים בתחום ממשקי מוח‑מחשב התמקדו בתנועות גדולות ופשוטות כמו הושטת יד או אחיזה, או באיות באמצעות בחירת אותיות אחת‑אחת בעזרת "סמן" מנטלי. עבודות מרשימות עם אלקטרודות מושתלות הראו שכבר ניתן לפענח כתיבה מדומיינת במהירויות המתקרבות להקלדה יומיומית. אך ניתוח מוח אינו אופציה ריאלית לרוב המטופלים, וקיימת דאגה לגבי יציבות ארוכת הטווח של שתלים. גישה לא‑חודרנית המשתמשת באלקטרודות על הקרקפת כדי להקליט גלי מוח יכולה לשמש באופן נרחב במרפאות, בבתים ובמרכזי שיקום — אם המדענים יצליחו לקרוא באופן מהימן את האותות החלשים והרועשים הקשורים לדימוי מהלכי עט.

תכנון ספריה עשירה של גלי מוח

כדי להתמודד עם האתגר גייסו החוקרים 21 מבוגרים בריאים הדומיננטיים ביד ימין והקליטו את פעילות מוחם באמצעות כיפה עם 32 חיישנים. כל משתתף השתתף בשתי מושבים שנערכו בהפרש של לפחות יום, מה שנתן דרך לבחון עד כמה האותות יציבים לאורך זמן. הצוות השתמש בשתי משימות מנטליות שתוכננו בקפידה. במשימה הראשונה המדמיינים דמיינו כתיבת חמשת המהלכים הבסיסיים המשמשים לבניית תווים סיניים — קווים עקומים וישרים שניתן לשלבם כמעט לכל תו. במשימה השנייה דמיינו כתיבת שישה תנועות בודדות מפינטין (Hanyu Pinyin), המייצגות צורות מוכרות מעוגלות ומעוקלות המזכירות אותיות. כל ניסוי התחיל באנימציה חזותית קצרה של המהלך או התנועה כדי להזכיר למשתתפים את התנועה, ואחריה תקופה שבה המסך היה חשוך והם דמיינו בשתיקה את עקיבת הצורה פעם אחת במוחם.

מגלי מוח גולמיים לדפוסים הניתנים לפיענוח

במהלך שתי המשימות והמפגשים, המחקר הפיק 18,480 ניסויי דמיון בני ארבע שניות — מאגר גדול ומאוחד על פי התקנים הנוכחיים של ממשקי מוח‑מחשב. האותות הוקלטו בקצב גבוה מאוד, ולאחר מכן אורגנו בקפידה באמצעות תקן בינלאומי לנתוני מוח כדי שחוקרים אחרים יוכלו לנתחם בקלות. אף על פי שהקבצים המשותפים שומרים על ההקלטות הגולמיות, המחברים תיארו ושיחררו גם דוגמת קוד לעיבוד. במבחנים שלהם סיננו את האותות, תיקנו אלקטרודות פגומות, צמצמו את גודל הנתונים ונירמלו את הערוצים לפני שאימנו מודל למידה עמוקה קומפקטי בשם EEGNet. מודל זה מיועד לזהות גם היכן במוח וגם מתי בזמן מופיעים דפוסים חשובים, מה שהופך אותו למתאים להתפרצויות הקצרות של פעילות המלווים בתנועות עט מדומיינות.

עד כמה ניתן לקרוא מחשבות של כתיבה?

באמצעות EEGNet שאלו החוקרים עד כמה במדויק מחשב יכול לקבוע איזה מהלך או תנועה אדם מדמיין. כאשר האימון והבדיקה בוצעו בתוך אותו מושב הקלטות, הדיוקים הממוצעים היו משמעותית מעל המזל: מעל 70% למשימת חמשת המהלכים וכ‑67% למשימת ששת התנועות, כאשר אצל חלק מהנבדקים הדיוק עלה על 80%. חשוב יותר לשימוש במציאות, מודלים שאומנו ביום אחד ונבדקו ביום אחר עדיין ביצעו בצורה חזקה — כ‑63% למהלכים וכ‑60% לתנועות — מה שמראה שהדפוסים המוחיים של הפעולות המנטליות הללו יציבים למדי לאורך זמן. אנשים עם ניסיון קודם בשימוש בממשקי מוח‑מחשב נטו להשיג דיוקים גבוהים יותר, רמז לכך שמשתמשים יכולים ללמוד לייצר אותות מוח ברורים ועקביים יותר. החוקרים גם מצאו שמשתתפים בעלי ביצוע גבוה הציגו פעילות ממוקדת יותר באזורי מוח הקשורים לשליטה ביד ולתכנון מרחבי, בעוד שביצוע נמוך יצר דפוסים מפוזרים יותר — דבר שמצביע על מטרות פוטנציאליות לאימון או משוב.

מה משמעות הדבר לעזרים תקשורתיים עתידיים

במקום להציע גאדג'ט גמור, עבודה זו מציעה בסיס בנוי בקפידה: אוסף זמין באופן פתוח ועשיר באנוטציות של הקלטות מוח מדימוי כתיבה בסינית. על ידי התמקדות גם בבוני התווים (מהלכים) וגם בצורות הזורמות של התנועות, מאגר הנתונים תופס צדדים שונים של שליטה מוטורית עדינה ותכנון. התוצאות מראות שגם עם הקלטות לא‑חודרניות מהקרקפת, מחשבים יכולים להבחין באופן אמין בין מספר תנועות כתיבה מדומיינות ולשמור על ביצועים אלה לאורך ימים. עבור חולים שאינם יכולים לזוז או לדבר, מערכות עתידיות המבוססות על משאב זה עשויות בסופו של דבר לאפשר להם "לכתוב" משפטים פשוט על‑ידי דמיון המהלכים והצורות של האותיות במוחם.

ציטוט: Wang, F., Chen, Y., Wang, P. et al. An EEG dataset for handwriting imagery decoding of Chinese character strokes and Pinyin single vowels. Sci Data 13, 332 (2026). https://doi.org/10.1038/s41597-026-06708-3

מילות מפתח: ממשק מוח‑מחשב, אלקטרואנצפלוגרפיה, דימוי כתב, תווים סיניים, תנועות פינטין