En uppmärksamhetsbaserad multimodal djupinlärningsram som integrerar EEG och EKG för förbättrad stressdetektion

Varför objektiv stressmätning spelar roll

Stress formar hur vi tänker, känner och mår, ändå märker de flesta av oss det först när det börjar orsaka problem. Denna studie presenterar ett nytt sätt att mäta stress i realtid genom att använda signaler från hjärnan och hjärtat tillsammans, i stället för att fråga människor hur de mår eller titta på en signal i taget. Målet är att omvandla osynlig belastning till tydlig, tillförlitlig information som en dag kan stödja sjukvård, arbetsplatsens välbefinnande och personliga verktyg för mental hälsa.

Begränsningar med att bara fråga människor hur de mår

Idag mäts stress ofta med frågeformulär som ber människor minnas hur spända de känt sig under de senaste dagarna eller veckorna. Dessa självrapporter kan förvrängas av minnesbias, kultur eller viljan att verka "ok", och de fångar inte snabba förändringar i kroppen under ett stressigt ögonblick. Samtidigt samlar numera bärbara enheter detaljerade biologiska data, vilket ger en möjlighet att läsa stressignaler direkt från kroppen. Utmaningen är att tolka dessa rika datastreamar på ett sätt som speglar både sinne och kropp, i stället för att behandla stress som ett enda tal.

Vad hjärnvågor och hjärtslag avslöjar

Forskarlaget fokuserar på två typer av signaler. Elektroencefalogram, eller EEG, följer hjärnvågor och kan visa skiften kopplade till fokus, oro och känslomässig påfrestning. Elektrokardiogram, eller EKG, registrerar hjärtslag och ger hjärtfrekvensvariabilitet, ett subtilt mått på hur flexibelt hjärtat svarar på krav. Vid stress förändras hjärnans rytmer och hjärtfrekvensvariabiliteten sjunker vanligtvis, men inte alltid på samma sätt för varje person eller situation. Genom att kombinera dessa två perspektiv syftar studien till att måla en rikare bild av hur stress visar sig i nervsystemet, från tankar och känslor ner till hjärtat.

Ett smart system som blandar hjärn- och hjärtsignaler

Teamet utvecklade en djupinlärningsram som behandlar EEG och EKG som två kompletterande kanaler. Först rengörs och omformas råsignalerna noggrant. Hjärnaktivitet filtreras, delas i korta tidsfönster och omvandlas till bilder som visar hur effekten i olika hjärnvågsband förändras över tid. Hjärtdata går igenom sin egen pipeline och fångar både den råa rytmen av slag och klassiska variabilitetsmått. Tre kraftfulla bildigenkänningsnätverk, ursprungligen tränade på stora bilddatamängder, anpassas för att extrahera mönster från dessa transformerade signaler. Ett uppmärksamhetsbaserat fusionslager lär sig sedan hur bidrag från hjärna och hjärta — och till och med från varje nätverk — ska vägas, beroende på vilken som är mest informativ i ett givet ögonblick.

Test av systemet över olika typer av stress

För att utvärdera hur väl detta tillvägagångssätt fungerar tränade och testade författarna det på två oberoende offentliga dataset. Det ena, kallat WESAD, innehåller hjärn- och hjärtinspelningar från frivilliga som genomgick neutrala, spända sociala uppgifter och underhållande aktiviteter. Det andra, kallat CASE, lägger till fler försökspersoner och en blandning av mentala utmaningar och känslomässiga scener, vilket ger ett tuffare prov på generell användbarhet. I båda dataset kunde det kombinerade EEG-plus-EKG-systemet skilja mellan neutrala, stressade och positiva tillstånd med ungefär 95,7 procents noggrannhet. Detta överträffade tydligt versioner som förlitade sig bara på hjärndata, bara på hjärta, eller enklare sätt att slå samman signaler, och höll sig rimligt stabilt även när det tränades på ett dataset och testades på det andra.

Från laboratorieresultat till vardagligt stressstöd

Utöver hög noggrannhet är modellen byggd med praktisk användning i åtanke. Den kan köras snabbt nog för nästan realtidsövervakning och kan förenklas för enheter med begränsad beräkningskapacitet. Uppmärksamhetsvikterna ger också en inblick i vilka funktioner som betyder mest, och lyfter fram stressrelaterade mönster som ökad frontal hjärnaktivitet och minskad hjärtfrekvensvariabilitet. Enkelt uttryckt visar studien att lyssna på både hjärnan och hjärtat, och låta ett intelligent system avgöra hur deras röster ska blandas, ger en mer trogen avläsning av stress. Även om mer arbete krävs för att föra detta till kliniker, arbetsplatser och konsumentprodukter, markerar det ett konkret steg mot objektiva, icke-invasiva verktyg som hjälper människor att förstå och hantera sin mentala belastning.

Citering: Kumar, R., Krishnan, S.B., Yadav, R.K. et al. An attention-based multimodal deep learning framework integrating EEG and ECG for enhanced stress detection. Sci Rep 16, 15188 (2026). https://doi.org/10.1038/s41598-026-44499-0

Nyckelord: stressdetektion, EEG, EKG, multimodal djupinlärning, fysiologiska signaler