Kortikal çok boyutlu el yazısı hareketinin temsili ve nöroprotezler için çıkarımları

Gelecekteki iletişim için neden önemli

Elleri hareket edemeyen felçli kişiler için yalnızca beyin etkinliğini kullanarak “yazabilmek”, hızlı ve doğal bir iletişim yolunu geri kazandırabilir. Bu çalışma, insan beyninin el yazısını sadece kağıt üzerindeki kalemin yolunu aşan çok daha ayrıntılı biçimde nasıl kontrol ettiğini araştırıyor. Beynin kullandığı, bastırma şiddeti, vuruşlar arasındaki havadaki hareketler ve kasların nasıl devreye girdiği gibi gizli ek sinyalleri ortaya koyarak, hayal edilen el yazısını metne önceki yöntemlerden daha doğru ve güvenilir biçimde dönüştürebilecek beyin–bilgisayar arayüzlerine yol gösteriyor.

Zihin için bir pencere olarak el yazısı

El yazısı, insanlar tarafından edinilen en çok pratik edilen becerilerden biridir; ince hareket kontrolünü, zamanlamayı ve kişisel üslubu harmanlar. Araştırmacılar uzun zamandır Parkinson gibi beyin bozukluklarını incelemek ve yazıyı tanıyan bilgisayar sistemleri geliştirmek için el yazısını kullandılar. Daha yakın zamanda bilim insanları, beyin–bilgisayar arayüzlerinin hayal edilen el yazısını çözebildiğini gösterdiler; bu sayede felçli kişiler zihinlerinde harfleri “yazabiliyor” veya trajeler çizebiliyor ve bunları ekranda metne dönüştürebiliyor. Ancak bu sistemlerin çoğu el yazısını sayfa üzerindeki iki boyutlu düz bir hareket olarak ele alıyor; oysa gerçek yazı, kalem kaldırmaları, yükseklik değişimleri, tutuş kuvveti ve ince kas aktivitesi gibi unsurları da içerir.

Hayal edilen yazı sırasında beynin içine bakmak

Yazarlar, uzuvlarını artık hareket ettiremeyen, yüksek seviyeli omurilik yaralanması olan bir erkeğin motor bölgesindeki bireysel nöronların etkinliğini kaydettiler. El kontrolünü normalde yöneten korteks bölgesinin üzerine ince elektrot dizileri implante edildi. Kendisi rakamlar ve Çin karakterlerinin nasıl yazılacağını gösteren videoları izlerken, her bir vuruşu ve kalem kaldırmayı zihninde izlemeye çalıştı. Araştırmacılar, nöronların hâlâ sağlıklı hareketlerde görülen klasik kuralları takip ettiğini gösterdiler: birçok hücre belirli hareket yönlerini tercih ediyordu ve bu desenler, tek denemede tanınabilir rakam şekillerini bir bilgisayarın çözmesine yetecek kadar güçlüydü. İlginç olarak, tüm karakteri basit 2B hareket olarak ele aldıklarında, çözümleme sayfa üzerindeki vuruşlarda havadaki hareketlere göre çok daha iyiydi; bu da modelden eksik olan önemli bir şey olduğunu düşündürdü.

Derinlik, kuvvet ve kas aktivitesini eklemek

Bu eksik bilgiyi doldurmak için ekip, aynı karakterleri yazan altı sağlıklı gönüllüden ayrıntılı el yazısı verileri topladı. Kalem ucunu üç boyutta izlediler, kalemin nasıl kavrandığını, kağıda ne kadar bastığını ölçtüler ve önkol kaslarından elektriksel aktivite kaydettirdiler. Bu kayıtlar, kalem kaldırmalarının sadece havada düz çizgiler olmadığını ortaya koydu: yukarı doğru yaylanıyorlar ve genellikle geri inmeden önce aşım yapıyorlar, ve kalem sayfadan kalkmış olsa bile devam eden kavrama ve kas değişiklikleri içeriyorlar. Bu özelliklerin birçoğu kişiler arasında yüksek derecede stereotypikti; yani felçli katılımcının hayal etmeye çalıştığı hareketin yerine ortalama bir şablon kullanılabilirdi.

Beynin birçok hareket sinyalini nasıl karıştırdığı

Sağlıklı gönüllülerin çok boyutlu el yazısı şablonlarını felçli katılımcının sinirsel etkinliğiyle hizalayarak, araştırmacılar her nöronun ateşlemesini en iyi hangi özelliklerin açıkladığını test ettiler. Sadece düz 2B hızını içeren modeller sinirsel varyasyonun büyük bir kısmını açıklamıyordu. Kalem yüksekliği, dikey hız, kavrama kuvveti, basınç ve kasla ilgili sinyaller eklendiğinde sinirsel desenlerin daha fazlası anlaşılır hale geldi. Farklı nöronlar bu bileşenlerin karışımlarını taşıyordu: bazıları genel hıza en duyarlıydı, bazıları kas benzeri sinyallere veya dikey harekete, birçokları ise aynı anda iki ya da üç özelliği birleştiriyordu. Kritik olarak, dikey hareket ve kas aktivitesi gibi ekstra boyutların dahil edilmesi hem sayfa üzerindeki vuruşları hem de havadaki kalem kaldırmaları açıklama açısından iyileştirdi.

Daha zengin beyin sinyallerini daha net yazıya dönüştürmek

Ardından ekip, bu ekstra boyutları çözümlemenin gerçekten iletişimi iyileştirip iyileştirmeyeceğini sordu. Bir makine öğrenmesi modeli kullanarak iki strateji denediler: biri yalnızca 2B kalem hızını çözen, diğeri ise dikey hareket, kavrama kuvveti ve basınç gibi daha zengin bir seti çözen. Hangi karakterin yazıldığını tanımak için, çözümlenen desenleri sağlıklı yazarların referans karakter kütüphanesiyle karşılaştırdılar; farklı hızlarda yazılsa bile dizileri hizalayabilen zaman-germe (time-warping) yöntemi kullandılar. Sadece düz 2B hareket kullanıldığında tanıma zaman zaman işe yarıyordu. Tüm çok boyutlu bilgi dahil edildiğinde doğruluk belirgin şekilde arttı; kullanıcı tamamen felçli olmasına ve sadece hareketleri hayal ediyor olmasına rağmen karakterlerin neredeyse yarısına yakın kısmı doğru şekilde tanımlandı.

Gelecek nöroprotezleri için ne anlama geliyor

Bu çalışma, motor korteksin el yazısını sayfadaki basit çizgiler olarak kodlamadığını gösteriyor. Bunun yerine, kalem vuruşları, kalem kaldırmaları, derinlik, kuvvet ve kas desenlerini aynı anda içeren zengin, çok boyutlu bir eylemi temsil ediyor. Beyin–bilgisayar arayüzleri için bunun anlamı, çözücülerin yalnızca düz bir yolu izlemek yerine el yazısının tam, üç boyutlu, kuvvet farkındalıklı bir versiyonunu yeniden inşa etmeyi hedeflemesi gerektiğidir. Mevcut sistem henüz günlük kullanım için yeterince hızlı veya doğru olmasa da, böyle çok boyutlu çözümlemeyi gelişmiş dil modelleriyle birleştirmek, beyin-den-mete iletişimi büyük ölçüde iyileştirebilir ve ellerini hareket ettiremeyen kişilere doğal yazma yeteneğini geri kazandırmaya daha da yaklaşabilir.

Atıf: Wang, Z., Xu, G., Yu, B. et al. Cortical representation of multidimensional handwriting movement and implications for neuroprostheses. Nat Commun 17, 3966 (2026). https://doi.org/10.1038/s41467-026-70536-7

Anahtar kelimeler: el yazısı beyin-bilgisayar arayüzü, motor korteks, nöroprotezi iletişim, çok boyutlu hareket, paralizi