DriveEmo-FL: otonom araçlarda kabin içi radar tabanlı duygu algılama ve akıllı tepki

Nasıl Hissettiğinizi Sezebilen Arabalar

Sürücüsüz otomobiller günlük hayata giderek yaklaşırken temel bir soru hâlâ açık: yolcularının nasıl hissettiğini nasıl bilecekler? Teknik olarak güvenli olan ancak insanları endişeli, öfkeli veya araba tutması hissettiren bir yolculuk güven sağlar. Bu makale, otonom araçların yolcuların ince beden hareketlerinden—kameralar veya giyilebilir cihazlar olmadan—duygularını algılamasını ve buna göre sürüş ile kabin ayarlarını düzenlemesini sağlayan DriveEmo-FL sistemini tanıtıyor.

Yüzünü İzlemeden Ruh Halini Okumak

Günümüzde birçok duygu algılama sistemi yüz ifadelerini izleyen kameralara veya kalp atış hızı ve deri iletkenliğini ölçen giyilebilirlere dayanıyor. Bir aracın içinde her iki yaklaşımın da sakıncaları var: yüzler güneş gözlüğüyle ya da kötü aydınlatmayla gizlenebilir ve çoğu yolcu ekstra sensörleri takmak istemez. DriveEmo-FL bunun yerine milimetre dalga radarı kullanır; bu, radyo dalgaları gönderen ve bunların yolcunun üst vücudundan nasıl yansıdığına bakan küçük bir cihazdır. Bu yansımalar, geri dönen dalgaların frekansında değişime yol açan çok küçük hareket değişikliklerini taşır; bu desen mikro-Doppler olarak bilinir. Omuzlar, kollar ve baş hareketlerine odaklanarak sistem, örneğin coşkulu bir alkış ile korkudan omuzların çekilmesi ya da üzüntünün durgunluğu arasındaki belirleyici farkları yakalayabilir—üstelik görsel mahremiyeti koruyarak.

Ham Radar Yankılarından Duygusal Desenlere

Yazarlar, ham radar yankılarını birkaç onlarca milisaniye içinde duygu tahminlerine çeviren eksiksiz bir işlem hattı inşa ediyor. Önce sinyal temizlenir: koltuklar ve torpido gibi güçlü yansımalar çıkarılır ve hareketi araçtan ziyade yolcuya bağlayan matematiksel bir işlem izole edilir. Temizlenen veriler daha sonra zaman–frekans görüntülerine—micro-Doppler "imzalarına"—dönüştürülür; bunlar, hareket enerjisinin farklı hızlara zaman içinde nasıl yayıldığını gösterir. Paralel olarak sistem, bir kişinin hareketinin ne kadar ani değiştiği (çeviklik), gözlemlenen en hızlı hareket (tezahür hızı) ve kısa bir penceredeki toplam hareket enerjisi gibi basit hareket istatistiklerini çıkarır. Bu iki akım—zengin hareket görüntüleri ve kompakt hareket özetleri—duygusal jestlerin hem şekil hem de yoğunluğunu yakalar.

Aracın İçin Hafif Bir Zihin

DriveEmo-FL’in merkezinde, küçük yerüstü bilgisayarlarda verimli çalışmak üzere tasarlanmış kompakt bir derin öğrenme modeli olan EmoNet bulunur. EmoNet’in bir dalı, micro-Doppler görüntülerini bir görsel ağ gibi işleyerek alkış, baş sallama veya yavaşça etrafa bakma gibi jestlere bağlı yineleyen desenleri öğrenir. Diğer dal ise üç hareket istatistiğini işler ve örneğin enerjik neşeyle aynı derecede enerjik öfkeyi ayırt etmeye yardımcı olur. İki akım birleştirilir ve hem tespit edilen aktiviteyi hem de temel duygu grubunu (mutlu, üzgün, öfkeli veya korkmuş) çıktılayan ortak karar katmanlarına beslenir. Son adım, bu duygusal ipuçlarını otonom sürüş sisteminin hız, manevra yumuşaklığı, aydınlatma ve hatta araç içi sesli asistanların tonunu uyarlamak için kullanabileceği puanlara dönüştürür.

Sırları Paylaşmadan Birçok Arabadan Öğrenmek

Sistemi dayanıklı hale getirmek için farklı yaşlardan, kültürlerden ve vücut tiplerinden insanlardan, farklı araçlarda ve koşullarda öğrenmesi gerekir. Ancak herkesin ham hareket verilerini buluta göndermek mahremiyet endişelerini artırır. DriveEmo-FL bunu federated learning ile çözer: her araç yalnızca kendi radar verisini kullanarak EmoNet’i yerel olarak eğitir ve yalnızca şifrelenmiş model güncellemelerini merkezi bir sunucuya gönderir. Sunucu bu güncellemeleri daha güçlü bir küresel modele birleştirir ve hepsine geri yollar. 12 farklı üst vücut jestini yapan 50 katılımcıyla yapılan testlerde sistem gerçek zamanlı çalışırken %94,5 doğruluk elde etti ve şehir içi sürüş, parlak güneş ışığı, düşük ışık ve çakışan jestler gibi zorlu senaryolarda da güvenilir kaldı.

Gelecek Yolculuklar İçin Ne Anlama Geliyor

Bir arada ele alındığında sonuçlar, sürücüsüz araçların küçük, mahremiyete dost bir radar ve verimli bir öğrenme modeli kullanarak yolcuların duygusal durumlarını algılayıp yanıtlayabileceğini gösteriyor. Bir yüz veya sesi kaydetmeden, otonom bir araç bir yolcunun gergin, korkmuş veya özellikle neşeli görünüp görünmediğini fark edip sürüş tarzını ve kabin ortamını nazikçe uyarlayabilir. İyileştirilip diğer müdahaleci olmayan ipuçlarıyla birleştirildiğinde DriveEmo-FL benzeri sistemler, geleceğin yolculuklarını yalnızca yolda daha güvenli değil, aynı zamanda kabin içinde daha konforlu, anlaşılmış ve insan odaklı hissettirebilir.

Atıf: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

Anahtar kelimeler: otonom araçlar, duygu tanıma, mmWave radar, kabin içi algılama, federated learning