Görsel ve dokunsal bilgilerin özellik füzyonu yoluyla yorgun sürücü tespiti için çokmodlu bir çerçeve

Neden Direksiyonda Uyanık Kalmak Önemli

Uzun yolculuklar, geç saatler ve yoğun programlar birçok kişinin çok yorgun olduğu halde direksiyon başına geçmesine neden oluyor. Yorgunluk, tepki süresini sessizce yavaşlatır ve dikkati bulanıklaştırır; her yıl ciddi trafik kazalarının büyük bir kısmına katkıda bulunur. Bu çalışma, sürücünün yüzünü ve derideki ince basınç değişimlerini aynı anda izleyerek uykululuğu bugün kullanılan yalnızca kameraya veya yalnızca sensöre dayanan çözümlerden daha erken ve daha güvenilir şekilde tespit eden yeni bir araç içi izleme sistemi tanıtıyor.

İki Duyu Birden Daha İyi

Çoğu mevcut sistem yorgunluğu tek bir bilgi kaynağından tespit etmeye çalışır. Kamera tabanlı araçlar düşen göz kapakları, uzun kırpmalar ve esnemeler gibi ipuçlarını arar, ancak gece, parlama veya gözlerin gözlük ya da maske ile kısmen gizlendiği durumlarda zorlanırlar. Diğer yaklaşımlar vücuttan gelen elektriksel sinyallere veya hantal taşınabilir cihazlara dayanır; bunlar rahatsız edici ve gürültülü olabilir. Araştırma ekibi ise insan beyninin dokunma ve görmeyi nasıl harmanladığını taklit ediyor: sistemleri sürücünün yüzünün videosunu, gözlerin, ağzın ve boynun yakınına yerleştirilmiş yumuşak, cilde dost yamalardan gelen nazik “dokunsal” okumalarla birleştiriyor ve ardından yapay zeka modeli sürücünün uyanık mı yoksa uykuya mı yöneldiğine karar veriyor.

Kameraların Kaçırdığını Hisseden Yumuşak Sensörler

Sistemin merkezinde hafif, gözenekli bir plastik ile iletken bir polimerin karıştırılmasıyla oluşturulmuş, küçük solucan benzeri yapılara şekillendirilmiş esnek basınç sensörleri bulunuyor. Bu süngerimsi malzeme kolayca sıkışır ve çok hafif baskı ve bükülmelere yanıt olarak elektriksel davranışını değiştirir. Deriye hafifçe yapıştırıldığında, göz yakınındaki bir yama göz kapakları kapandığında tepki verir, boyundaki bir diğeri başın sallanmasını hisseder ve ağız yakınındaki üçüncüsü esnemeyle ortaya çıkan geniş açılmayı ve gerilmeyi algılar. Testler, bu sensörlerin birkaç milisaniye içinde yanıt verdiğini, son derece ince basınçları tespit edebildiğini ve on binlerce bükülme ve sıkıştırma döngüsünden sonra bile güvenilir şekilde çalışmaya devam ettiğini gösterdi—hareket halindeki bir araçta her gün takılabilecek bir şey için önemli bir özellik.

Sistemi Yorgunluğu Okuması İçin Eğitmek

Sisteme yorgunluğun nasıl göründüğünü öğretmek için araştırmacılar, beş gönüllünün kısa video kliplerini üç cilt yamasıyla eşleşen sinyallerle eşleştiren bir veri seti oluşturdular. Dört tipik durumu kaydettiler: normal sürüş, göz kapaklarının kapanması, baş sallanması ve esneme; her biri parlak gündüz ışığı ve loş otopark aydınlatması koşullarında kaydedildi. Modern bir görüntü tanıma ağı yüz görüntülerinden ana desenleri çıkarmayı öğrenirken, ikinci bir ağ sensör okumalarını sıkıştırılmış imzalara dönüştürdü. Bu iki bilgi akışı daha sonra tek bir birleşik temsilde füzyon yapılarak dokunma ve görmenin yorgunluğa dair işaretlerde ne zaman hemfikir olduğunu görmeye ve video karanlık ya da bozulmuşken sensörlere daha fazla güvenmeye olanak tanıdı.

Anlık Sinyallerden Eyleme Geçirilebilir Uyarılara

Sistem kontrollü testlerde dört temel durumu yaklaşık yüzde 98 doğrulukla tanıyabildiğinde ekip bir adım daha ileri gitti: kare kare yapılan yargıları sürücüler için pratik tavsiyelere dönüştürmek. Birinin çok uzun süre kaç saniye göz kırptığına, başının ne sıklıkla sallandığına veya dakikada kaç kez esnediğine dayalı basit kurallar tanımladılar ve bu sayımları normal, hafif yorgun veya ciddi derecede yorgun olmak üzere üç seviyeli bir yorgunluk skoruna çevirdiler. Sistem gerçek zamanlı olarak kompakt bir araç içi bilgisayarda çalışıyor, sürücünün puanını sürekli güncelliyor ve hafif seviyelerde mola öneren nazik bir uyarı ya da ciddi yorgunluk tespit edildiğinde acil dur uyarısı veriyor. Farklı yaşlarda, cilt tonlarında, yüz kıllarında, maskelerde ve hatta kötü aydınlatma ya da hareketten kaynaklanan sallantı altında yüksek performansını korudu; bu da kamera ve dokunun birleştiği yaklaşımın gerçekçi koşullarda sağlam olduğunu gösteriyor.

Günlük Sürüş İçin Anlamı

Uzman olmayanlar için çıkarım basit: bir kameranın gördüğüyle yumuşak cilt sensörlerinin hissettiklerini harmanlayarak bu çalışma, felaketlere dönüşmeden önce yorgunluğun ince işaretlerini fark eden daha akıllı bir “yardımcı pilot” sunuyor. Teknoloji, gece kamerası çözümlerinin birçok zayıflığından ve rahatsız edici tıbbi taşınabilir cihazlardan kaçınıyor; aynı zamanda araç içinde çalışacak kadar hızlı ve verimli kalıyor. Daha büyük, gerçek dünya yol testleri hâlâ gerekli olsa da bu çokmodlu çerçeve, gelecekte araçların sürücü uyanıklığını arka planda sessizce izlemesine ve zamanında uyarılarla müdahale etmesine, yorgunluğa bağlı kazaları azaltmaya ve uzun yolculukları yoldaki herkes için daha güvenli hale getirmeye işaret ediyor.

Atıf: Li, K., Yue, W., Shin, DB. et al. A multimodal framework for fatigue driving detection via feature fusion of vision and tactile information. npj Flex Electron 10, 40 (2026). https://doi.org/10.1038/s41528-026-00543-7

Anahtar kelimeler: sürücü yorgunluğu tespiti, araç içi güvenlik izleme, esnek cilt sensörleri, çokmodlu YZ, uykulu sürüşün önlenmesi