Kymata Soto-språkdatamängd: en elektro‑magnetoencefalografisk datamängd för bearbetning av naturligt tal

Lyssna på hur hjärnan hör verkliga samtal

Det mesta av det vi säger och hör varje dag är casual konversation, inte enstaka ord eller noggrant upplästa meningar. Trots det har mycket hjärnforskning om språk förlitat sig på artificiella uppgifter. Kymata Soto-språkdatamängden ändrar på detta genom att erbjuda en rik, öppen samling av hjärnregistreringar från personer som enkelt lyssnar på livliga radiodiskussioner på engelska och ryska, vilket ger forskare ett kraftfullt nytt fönster in i hur våra hjärnor bearbetar naturligt tal.

Ett nytt bibliotek av hjärnsvar på verkligt tal

Detta projekt förenar två avancerade metoder för hjärnregistrering—elektroencefalografi (EEG) och magnetoencefalografi (MEG)—från 35 vuxna: 20 engelsktalande modersmålstalare och 15 rysktalande modersmålstalare. Medan de satt stilla och lyssnade på ungefär sex och en halv minuts radiostilad konversation på sitt eget språk registrerades deras hjärnaktivitet tusen gånger per sekund. Varje person hörde samma ljud flera gånger, vilket tillät forskarna att ta medel över repetitionerna och urskilja hjärnans tillförlitliga svar ur bakgrundsbruset. Resultatet är en detaljerad, tidslåst registrering av hur hjärnan reagerar, ögonblick för ögonblick, när människor följer en pågående diskussion.

Samtal om glass och kaffe

I stället för att använda klassiska berättelser eller artificiella meningar valde teamet engagerande men vardagliga ämnen: glassens historia för engelska lyssnare och Colombias kaffehistoria för ryska lyssnare. Båda inspelningarna kom från BBC-studiodebatter med tre talare (två män och en kvinna). Samtalen redigerades till cirka 400 sekunder och presenterades på behagliga nivåer genom hörsnäckor. Efter varje repetition svarade deltagarna på en eller två enkla flervalsfrågor om innehållet—precis tillräckligt för att säkerställa att de höll sig vakna och följde berättelsen, inte för att testa dem hårt.

Hålla ögonen upptagna men sinnet på ljudet

Medan deltagarna lyssnade stirrade de på ett centralt kors på en skärm. Runt det flöt moln av färgade prickar som drev och ändrade sig på ett till synes slumpmässigt sätt. Dessa rörliga prickar tjänade två syften: de hjälpte till att hålla deltagarnas blick stadig, vilket förbättrar datakvaliteten, och de skapade kontrollerade mönster av visuell rörelse och färg som andra forskare senare kan analysera. Viktigt är att prickarna inte var synkroniserade med talinnehållet, så de ’illustrerade’ inte berättelsen eller tillförde mening, men de gav en konsekvent visuell bakgrund som kan studeras tillsammans med ljuden.

Från råa hjärnsignaler till färdiga data

Forskarna dokumenterade noggrant varje del av experimentet och organiserade datamängden enligt en internationell standard för hjärndata kallad BIDS. För varje volontär finns råa EEG- och MEG-inspelningar, tidsmarkörer för när ljudet startade, sekund-för-sekund visuella händelser och övningssegment. Teamet tillhandahåller också de ursprungliga ljudfilerna, fullständiga utskrifter och exakt tidpunkt för när varje ord och till och med varje individuellt tal-ljud började. De inkluderar skript så att andra automatiskt kan reproducera exakt de ljudutdrag som användes. För den engelska gruppen delas anonymiserade MRI-skanningar så att hjärnsvar kan kartläggas på individuell hjärnanatomi; för den ryska gruppen tillät inte samtycket delning av MRI-bilder, så användare rekommenderas att förlita sig på standardiserade genomsnittliga hjärnmallar.

Kontrollera att signalerna är meningsfulla

För att säkerställa att data är vetenskapligt tillförlitliga genomförde författarna valideringsanalyser med fokus på hur hjärnan följer förändringar i ljudstyrka över tid. De transformerade ljudet till flera matematiska beskrivningar av ”tidsvarierande ljudstyrka” och undersökte sedan var och när hjärnsvaren linjerade upp med dessa ljudstyrkemönster. För både engelska och ryska lyssnare visade hjärnan liknande tidmönster, i linje med vad som rapporterats i tidigare arbete. Denna överensstämmelse över språk och med tidigare studier är ett starkt tecken på att inspelningarna är rena, tillförlitliga och klara för att andra ska bygga vidare på dem.

Varför detta är viktigt för framtida hjärn- och språkforskning

För icke-specialister är huvudpoängen att denna datamängd är en ny gemensam resurs som låter många olika forskningsteam studera hur verkligt, spontant tal bearbetas i hjärnan. Eftersom den är öppen, välannoterad och inspelad på två olika språk kan den stödja projekt alltifrån grundläggande frågor om hur vi förstår samtal, till jämförelser mellan språk, till ambitiösa ansträngningar att avkoda tal direkt från hjärnaktivitet. Kort sagt: Kymata Soto-språkdatamängden handlar mindre om att svara på en enda fråga och mer om att ge den vetenskapliga gemenskapen en högkvalitativ, delad grund för att utforska hur våra hjärnor förstår de samtal som fyller vår vardag.

Citering: Yang, C., Parish, O., Klimovich-Gray, A. et al. Kymata Soto Language Dataset: an electro-magnetoencephalographic dataset for natural speech processing. Sci Data 13, 254 (2026). https://doi.org/10.1038/s41597-026-06579-8

Nyckelord: hjärna och språk, talperception, EEG MEG, naturlig konversation, öppna neurobilddata