Kymata Soto-taalgegevensset: een elektro‑magneto‑encefalografische dataset voor de verwerking van natuurlijke spraak

Luisteren naar hoe het brein echte gesprekken hoort

Het grootste deel van wat we dagelijks zeggen en horen is informele conversatie, niet losse woorden of zorgvuldig voorgelezen zinnen. Toch heeft veel onderzoek naar taal in het brein gebruikgemaakt van kunstmatige taken. De Kymata Soto-taalgegevensset verandert dat door een rijke, open verzameling van hersenopnames te bieden van mensen die gewoon naar levendige radiodiscussies in het Engels en Russisch luisteren, waardoor wetenschappers een krachtig nieuw venster krijgen op hoe onze hersenen natuurlijke spraak verwerken.

Een nieuwe bibliotheek van hersenreacties op echte spraak

Dit project brengt twee geavanceerde methoden voor hersenregistratie samen—elektro-encefalografie (EEG) en magneto-encefalografie (MEG)—bij 35 volwassenen: 20 moedertaalsprekers van het Engels en 15 moedertaalsprekers van het Russisch. Terwijl ze rustig zaten en ongeveer zes en een halve minuut naar een radiostijlgesprek in hun eigen taal luisterden, werd hun hersenactiviteit duizend keer per seconde vastgelegd. Elke persoon hoorde dezelfde audio meerdere keren, waardoor onderzoekers over herhalingen konden middelen en de betrouwbare hersenreacties uit de ruis konden halen. Het resultaat is een gedetailleerd, tijdsgelinkt verslag van hoe het brein reageert, moment voor moment, terwijl mensen een zich ontvouwende discussie volgen.

Gesprekken over ijs en koffie

In plaats van klassieke verhalen of kunstmatige zinnen te gebruiken, koos het team voor aansprekende maar alledaagse onderwerpen: de geschiedenis van ijs voor Engelse luisteraars en de geschiedenis van Colombiaanse koffie voor Russische luisteraars. Beide opnames kwamen uit BBC‑studiogesprekken met drie sprekers (twee mannen en één vrouw). De gesprekken werden tot circa 400 seconden bewerkt en via oortjes op comfortabele luisterniveaus aangeboden. Na elke herhaling beantwoordden deelnemers één of twee eenvoudige meerkeuzevragen over de inhoud—precies genoeg om te verzekeren dat ze alert bleven en het verhaal volgden, niet om hen streng te testen.

De ogen bezig houden, maar de aandacht op het geluid houden

Terwijl deelnemers luisterden, staarden ze naar een centraal kruis op een scherm. Daaromheen dreven wolken van gekleurde stippen die op een schijnbaar willekeurige manier bewogen en veranderden. Deze bewegende stippen hadden twee doelen: ze hielpen de blik van mensen stabiel te houden, wat de datakwaliteit verbetert, en ze creëerden gecontroleerde patronen van visuele beweging en kleur die andere onderzoekers later kunnen analyseren. Belangrijk is dat de stippen niet gesynchroniseerd waren met de spraakinnehoud, dus ze illustreerden het verhaal of voegden geen betekenis toe, maar ze boden wel een consistente visuele achtergrond die samen met de geluiden bestudeerd kan worden.

Van ruwe hersensignalen naar gebruiksklare data

De onderzoekers documenteerden zorgvuldig elk onderdeel van het experiment en organiseerden de dataset volgens een internationale standaard voor hersengegevens genaamd BIDS. Voor elke vrijwilliger zijn er ruwe EEG‑ en MEG‑opnames, tijdmarkers voor wanneer de audio startte, seconde‑voor‑seconde visuele gebeurtenissen en oefensegmenten. Het team levert ook de originele audiobestanden, volledige transcripties en precieze timing voor wanneer elk woord en zelfs elk afzonderlijk spraakgeluid begon. Ze voegen scripts toe zodat anderen automatisch de exacte gebruikte audiofragmenten kunnen reproduceren. Voor de Engelse groep worden geanonimiseerde MRI‑hersenscans gedeeld zodat hersenreacties op individuele hersenanatomie kunnen worden geprojecteerd; voor de Russische groep stond de toestemming geen deling van MRI‑beelden toe, dus wordt gebruikers geadviseerd te vertrouwen op standaard gemiddelde hersenmodellen.

Controleren of de signalen zinnig zijn

Om zeker te zijn dat de data wetenschappelijk betrouwbaar zijn, voerden de auteurs validatieanalyses uit gericht op hoe het brein veranderingen in geluidssterkte in de tijd volgt. Ze transformeerden de audio naar meerdere wiskundige beschrijvingen van “tijdvariërende luidheid” en onderzochten vervolgens waar en wanneer de hersenreacties samenvielen met die luidheidspatronen. Voor zowel Engelse als Russische luisteraars toonde het brein vergelijkbare timingpatronen, in overeenstemming met wat in eerdere studies is gerapporteerd. Deze overeenstemming tussen talen en met eerdere studies is een sterk teken dat de opnames schoon, betrouwbaar en klaar zijn voor verder onderzoek.

Waarom dit belangrijk is voor toekomstig onderzoek naar brein en taal

Voor niet‑specialisten is de hoofdconclusie dat deze dataset een nieuwe gemeenschappelijke bron is waarmee veel verschillende onderzoeksteams kunnen bestuderen hoe echte, spontane spraak in het brein wordt verwerkt. Omdat hij open, goed geannoteerd en in twee verschillende talen opgenomen is, kan hij projecten ondersteunen variërend van fundamentele vragen over hoe we conversatie begrijpen, tot vergelijkingen tussen talen, tot ambitieuze pogingen om spraak rechtstreeks uit hersenactiviteit te decoderen. Kort gezegd gaat de Kymata Soto‑taalgegevensset minder over het beantwoorden van één enkele vraag en meer over het bieden van een hoogwaardige, gedeelde basis voor de wetenschappelijke gemeenschap om te onderzoeken hoe onze hersenen zin geven aan de gesprekken die ons dagelijks leven vullen.

Bronvermelding: Yang, C., Parish, O., Klimovich-Gray, A. et al. Kymata Soto Language Dataset: an electro-magnetoencephalographic dataset for natural speech processing. Sci Data 13, 254 (2026). https://doi.org/10.1038/s41597-026-06579-8

Trefwoorden: hersenen en taal, spraakperceptie, EEG MEG, naturalistische conversatie, open neuroimaging‑gegevens