ייצוג קורטיקלי של תנועת כתב רב-ממדית והשלכותיה על נוירופרוטזות

מדוע זה חשוב לתקשורת בעתיד

בעבור אנשים שמרותקים ומתקשים להזיז את ידיהם, היכולת «לכתוב» בעזרת פעילות מוחית בלבד יכולה להשיב דרך מהירה וטבעית לתקשר. המחקר הזה בוחן כיצד המוח האנושי שולט בכתב בפירוט רב יותר מאשר רק מסלול העט על הנייר. על ידי גילוי אותות חבויים נוספים שהמוח משתמש בהם — כגון עוצמת הלחיצה, תנועות האוויר בין המכות ואופן גיוס השרירים — העבודה מצביעה על דרכים לפתח ממשקי מוח–מחשב שיכולים להמיר כתב מדומיין לטקסט באופן מדויק ואמין יותר מבעבר.

כתב כחלון לתוך המנגנון המחשבתי

הכתב הוא אחת המיומנויות המאומנות ביותר שאנו רוכשים, ומשלב שליטה עדינה בתנועה, תזמון וסגנון אישי. חוקרים השתמשו בכתב במשך זמן רב כדי לחקור הפרעות מוחיות כמו פרקינסון ולבנות מערכות שמזהות כתב. בשנים האחרונות הראו מדענים שממשקי מוח–מחשב מסוגלים לפענח כתב מדומיין, מה שמאפשר לאנשים מרותקים «לכתוב» אותיות או לצייר מסלולים במחשבה ולראות אותם מומרים לטקסט על המסך. עם זאת, רוב המערכות האלה מתייחסות לכתב כמחווה שטוחה, דו-ממדית על הדף, ומתעלמות מהעובדה שכתיבה אמיתית כוללת גם הרמות עט, שינויים בגובה, כוח אחיזה ופעילות שרירית עדינה.

מבט פנימי על המוח בזמן כתיבה מדומיינת

המחברים הקליטו פעילות של נוירונים יחידים מהאזור המוטורי במוח אצל גבר שסבל מפציעת חוט שדרה גבוהה ושלא יכול עוד להזיז את גפיו. הושתלו מערכי אלקטרודות זעירים מעל חלק הקורטקס שבאופן רגיל שולט ביד. בזמן שצפה בסרטונים המדגימים כתיבת ספרות ודמויות סיניות, ניסה לעקוב במחשבתו אחר כל מכה והרמת עט. החוקרים הראו כי הנוירונים עדיין הראו כללים קלאסיים שנצפים בתנועה תקינה: תאים רבים העדיפו כיווני תנועה מסוימים, ותבניות אלו היו חזקות דיו כדי לאפשר למחשב לפענח צורות ספרה ניסיוניות שהיו ניתנות לזיהוי. באופן מעניין, כשהתייחסו לדמות כולה כהתנועה דו-ממדית פשוטה, הפענוח הצליח הרבה יותר עבור המכות על הנייר מאשר עבור התנועות האוויריות שביניהן, מה שעורר חשד שמשהו חשוב חסר במודל.

הוספת עומק, כוח ופעילות שרירית

כדי למלא את המידע החסר, הצוות אסף נתוני כתב מפורטים משישה מתנדבים בריאים שכתבו את אותן דמויות. הם עקבו אחר קצה העט בתלת־ממד, מדדו את חוזק האחיזה, את הלחץ על הנייר, וגם הקליטו פעילות חשמלית משרירי האמה. ההקלטות חשפו שהרמות עט אינן רק קווים ישרים באוויר: הן קשתיות ולעיתים עוברות מעבר לפני שוב ושוקעות, ומעורבות בהן שינויים באחיזה ובשרירים גם כשהעט אינו על הדף. רבים מהמאפיינים הללו היו סטריאוטיפיים למדי בין אנשים, כלומר תבנית ממוצעת יכלה לייצג את התנועה שהמשתתף המרותק ניסה לדמיין.

כיצד המוח משלב אותות תנועה מרובים

על ידי יישור תבניות הכתב הרב-ממדיות של המתנדבים הבריאים עם פעילות העצבים של המשתתף המרותק, בחנו החוקרים אילו מאפיינים מסבירים הכי טוב את הירי של כל נוירון. מודלים שכללו רק מהירות דו-ממדית שטוחה השאירו מרבית השונות הנוירלית בלתי מוסברת. כאשר הוסיפו גובה עט, מהירות אנכית, כוח אחיזה, לחץ ואותות קשורים לשרירים, יותר דפוסי העצב הפכו מובנים. נוירונים שונים נשאו תערובות של מרכיבים אלה: חלק מהם היו רגישים בעיקר למהירות כללית, אחרים לאותות דמויי-שריר או לתנועה אנכית, ורבים שילבו שניים או שלושה מאפיינים בו־זמנית. מה שחשוב — הכללת ממדים נוספים כגון תנועה אנכית ופעילות שרירית שיפרה את יכולת המודלים לתאר גם את המכות על הדף וגם את הרמות העט באוויר.

להמיר אותות מוח עשירים לכתב ברור יותר

הצוות שאל האם פענוח הממדים הנוספים הללו יכול באמת לשפר את התקשורת. באמצעות מודל למידת מכונה, ניסו שתי אסטרטגיות: אחת שפיענחה רק מהירות עט דו-ממדית, ואחרת שפיענחה סט עשיר שכולל תנועה אנכית, כוח אחיזה ולחץ. לזיהוי הדמות שנכתבת השוו את הדפוסים המפוענחים לספריית דמויות ייחוס מכתבים בריאים, תוך שימוש בשיטת יישור זמנים שיכולה להתאים רצפים גם אם נכתבים במהירויות שונות. כאשר שימושו רק בתנועה דו-ממדית שטוחה, הזיהוי עבד לפעמים. כשכל המידע הרב-ממדי נכלל, הדיוק עלה באופן משמעותי, והתקרב לכיוון חצי מהדמויות שזוהו נכון, למרות שהמשתמש היה מרותק לחלוטין ורק דמיין את התנועות.

מה משמעות הדבר לנוירופרוטזות עתידיות

העבודה מראה שהקורטקס המוטורי אינו מקודד כתב כקווים פשוטים על דף. במקום זאת, הוא מייצג פעולה עשירה ורב-ממדית הכוללת מכות עט, הרמות עט, עומק, כוח ותבניות שריר בו־זמנית. עבור ממשקי מוח–מחשב, משמעות הדבר היא שהמפענחים צריכים לשאוף לשחזר גרסה תלת־ממדית ומודעת כוח של הכתב במקום רק לעקוב אחרי מסלול שטוח. אף שהמערכת הנוכחית אינה מהירה או מדויקת מספיק לשימוש יומיומי, שילוב פענוח רב-ממדי כזה עם מודלים שפתיים מתקדמים יכול לשפר במידה רבה תקשורת מוח-לכתב, ולהביא אותנו קרוב יותר לשיקום יכולת הכתיבה הטבעית לאנשים שאינם יכולים להזיז את ידיהם.

ציטוט: Wang, Z., Xu, G., Yu, B. et al. Cortical representation of multidimensional handwriting movement and implications for neuroprostheses. Nat Commun 17, 3966 (2026). https://doi.org/10.1038/s41467-026-70536-7

מילות מפתח: ממשק מוח–מחשב לכתב, קורטקס מוטורי, תקשורת נוירופרוטטית, תנועה רב-ממדית, שיתוק