Stres düzeyi tahmini için alanlar arası çokmodlu öğrenme: Bağımsız EEG ve yüz ifadeleri veri kümelerini bütünleştiren hibrit derin öğrenme çerçevesi

Stres takibinin önemi

Çoğu insan günlük yaşamında stresin sızdığını hisseder, ancak bunu açık, nesnel bir şekilde ölçmek zordur. Bu çalışma, bilgisayarların bir kişinin stres düzeyini düşük, orta veya yüksek şeklinde sınıflandırmak için hem beyinden hem de yüzden gelen sinyalleri nasıl okuyabileceğini araştırıyor. Kafanın içindeki süreçlerle yüzde görünen belirtileri birleştirerek araştırmacılar, basit ruh hali kontrollerinin ötesine geçmeyi ve işte, evde ve dijital cihazlarda nihayetinde iyi oluşu destekleyebilecek araçlar geliştirmeyi amaçlıyor.

Strese iki pencere

Çalışma, stresle ilişkili çok farklı iki sinyale odaklanıyor. Birincisi EEG olarak yakalanan beyindeki elektriksel etkinlik; bu, başkalarının göremediği iç tepkileri yansıtır. Diğeri ise gerilim, endişe veya sakinlik gibi dışsal göstergeleri açığa çıkaran yüz ifadesidir. Yazarlar, aynı gönüllülerden yeni veri toplamak yerine iki popüler açık veri kümesini yeniden kullanıyor: EEG kayıtları için DEAP ve yüz görüntüleri için FER2013. Hiçbir küme tıbbi stres puanlarıyla etiketli olmadığı için ekip, beyin uyarılmasının yoğunluğuna ve yüzde görünen duygulara göre üç stres aralığını dikkatle tanımlıyor. Ayrıca bu etiket seçimlerindeki küçük değişikliklerin sonuçları ne kadar etkilediğini test ediyorlar.

Makinelere sinyalleri öğretmek

Bu sinyallerdeki desenleri öğrenmek için araştırmacılar iki ayrı derin öğrenme dalı kuruyor. EEG için zaman içinde bilgideki değişimleri izlemekte iyi olan LSTM adlı bir ağ tipi kullanıyorlar; bu, stresle ilişkili olabilecek beyin dalgalarındaki ritimleri ve patlamaları takip etmeye yardımcı oluyor. Yüzler için, tüm görüntüye dikkat eden Vision Transformer ile göz veya ağız çevresindeki kas sıkışması gibi yerel ayrıntılara odaklanan klasik bir konvolüsyonel ağın birleşimini kullanıyorlar. Her dal, ham girdisini olası stres düzeyleri hakkında öğrendiklerini özetleyen sıkıştırılmış bir özellik kümesine dönüştürüyor.

Beyin ve yüzü bir araya getirmek

Ana soru, bu iki görünüm tamamen farklı kişilerden ve deneylerden geldiğinde bunları nasıl birleştirecekleri. Yazarlar üç füzyon stratejisini test ediyor. Erken füzyonda, beyin ve yüzün özellik listelerini basitçe birleştirip bunları sınıflandırıcıya veriyorlar. Geç füzyonda her dal kendi tahminini yapıyor ve sistem son cevabı ortalama veya oyla belirliyor. Yığılmış (stacked) füzyonda ise ikinci düzey bir model iki tahmin kümesini nasıl birleştireceğini öğreniyor; hangi durumda hangi sinyale daha fazla güvenileceğini keşfediyor. Sonuçların dürüst ve karşılaştırılabilir kalması için eğitim ve test verilerinin ayrı tutulmasına özen gösteriliyor.

Sistemin yapabildikleri ve yapamadıkları

Tek başına, yüz modeli stres düzeylerini yaklaşık beş vakadan dörde doğru sınıflandırırken, beyin modeli biraz daha iyi olup beş vakadan üçten fazlasını doğru sınıflandırıyor. Birleştirildiklerinde performans genel olarak iyileşiyor. Erken füzyon, tek kaynakların her ikisini de zaten geride bırakıyor, ancak geç füzyon daha iyi sonuç veriyor; bu da her dalın uzmanlaşmasına izin vermenin faydalı olduğunu gösteriyor. Yığılmış füzyon yöntemi en iyi performansı sergiliyor; test örneklerinin yüzde doksanından fazlasında stres düzeyini doğru atıyor ve precision, recall ile F1 ölçümlerinde yüksek puan alıyor. Yine de yazarlar, etiketlerinin yalnızca duygu ve uyarılmaya dayalı vekiller olduğunu, klinik teşhisler olmadığını ve EEG ile yüz verilerinin farklı gönüllülerden geldiğini, bunun yöntemin gerçek yaşam stresini doğrudan ne ölçüde yansıttığını sınırladığını vurguluyor.

Günlük hayat için ne anlama geliyor

Basitçe söylemek gerekirse, bu araştırma, verilerin ayrı toplandığı durumlarda bile bilgisayarın yalnızca beyinden veya yalnızca yüz ifadelerinden öğrenmesine kıyasla hem beyin aktivitesi hem de yüz ifadelerinden öğrenince insanları düşük, orta ve yüksek stres gruplarına daha güvenilir biçimde ayırabildiğini gösteriyor. Çerçeve, ofislerde, sağlık hizmetinde veya etkileşimli cihazlarda artan stresi senkronize sensörler gerektirmeden izleyebilecek gelecekteki sistemleri kurmak için bir tarif sunuyor. Ancak bu tür araçlar kişisel sağlık kararlarını yönlendirmeden önce gerçek stres ölçümleri ve eşleştirilmiş kayıtlarla yeni veriler üzerinde test edilmelidir; yine de bu çalışma önemli bir teknik temel atıyor.

Atıf: Pechetti, S., Chennu, L., Chintakunta, V. et al. Cross-domain multimodal learning for stress-level prediction: a hybrid deep learning framework integrating independent EEG and facial expression datasets. Sci Rep 16, 15303 (2026). https://doi.org/10.1038/s41598-026-41250-7

Anahtar kelimeler: stres tespiti, EEG sinyalleri, yüz ifadeleri, çokmodlu öğrenme, derin öğrenme