Yüksek performanslı insan etkinliği tanıma için HybridHAR’de çok ölçekli konvolüsyon ve dikkat mekanizmalarının bütünleştirilmesi

Neden bilgisayarlara günlük hareketleri öğretmek önemli?

Her gün telefonlarımız, saatlerimiz ve diğer cihazlarımız yürüyüş, merdiven çıkma veya kanepede dinlenme gibi nasıl hareket ettiğimizi sessizce kaydeder. Bu ham hareket sinyallerini güvenilir insan etkinliği bilgisine dönüştürmek sağlık izlemesini, yaşlı bakımını, rehabilitasyonu ve akıllı evleri dönüştürebilir. Bu makale HybridHAR’ı tanıtıyor: bu sinyalleri daha doğru ve verimli biçimde okuması için tasarlanmış yeni bir bilgisayar modeli; böylece giyilebilir cihazların gerçek zamanlı olarak ne yaptığımızı gerçekten anlayabilmesine bir adım daha yaklaşıyoruz.

Hareket sensörlerinden etkinliği anlamak

İnsan etkinliği tanıma, akıllı telefonlar ve giyilebilir cihazlardaki ivmeölçer ve jiroskop gibi sensörlere dayalı olarak bir kişinin ne yaptığını belirleme görevidir. Önceki sistemler bu sinyallerden uzmanların el ile çıkardığı özniteliklere ve ardından geleneksel makine öğrenmesi algoritmalarına dayanıyordu. Bu yaklaşım kontrollü laboratuvar ortamlarında işe yarasa da hareketlerin daha çeşitli ve gürültülü olduğu gerçek dünya koşullarında genellikle başarısız oluyordu. Derin öğrenme verideki desenleri otomatik olarak keşfederek ilerleme sağladı; yine de yaygın tasarımlar farklı zaman ölçeklerinde ortaya çıkan önemli ayrıntıları kaçırabiliyor ve ağlar derinleştikçe bilgi kaybı yaşayabiliyor.

Mevcut derin modellerin neden hâlâ zorlandığı

İnsan hareketleri aynı anda birçok zaman ölçeğinde gerçekleşir: hızlı bir adım, odanın karşısına kısa bir yürüyüş veya uzun süre oturma. Birçok derin öğrenme modeli ya kısa parçacıklara ya da daha uzun aralıklara odaklanır, ama ikisini de eşit derecede iyi yakalayamaz. Ağlar karmaşık desenleri yakalamak için daha fazla katman ekledikçe öğrenme sinyalleri zayıflayabilir ve erken katmanlar gelişmeyi durdurabilir. Bazı modeller ayrıca iç katmanlar için yeterli yönlendirmeden yoksundur; bu yüzden oturma ve ayakta durma gibi ham sinyallerde birbirine benzeyen etkinlikleri ayırt etmek için en yararlı orta seviye yapı taşlarını öğrenemezler.

Hareketi birden çok açıdan gören hibrit bir tasarım

Yazarlar, bu zayıflıkları üç ana fikri bir arada kullanan özenle tasarlanmış HybridHAR modeliyle ele alıyor. Birincisi, zamanın tek bir görünümünü kullanmak yerine aynı sensör sinyalini çok kısa ila biraz daha uzun segmentlere bakan üç paralel işleme yolundan geçiriyor. Bu yollar, hızlı jestlerin ince ayrıntılarını ve duruş ile hareketteki daha yavaş eğilimleri yakalayan üç mercek gibi davranıyor. Çıktıları daha sonra tüm bu ölçeklerin bilgilerini koruyan zengin, birleşik bir temsile harmanlanıyor.

Dikkat uygulamak ve öğrenmeyi ağın derinlerinde yönlendirmek

İkincisi, HybridHAR bu harmanlanmış temsilin üzerine özel bir dikkat modülü ekliyor. Bu mekanizma, örneğin merdiven çıkma ile inme arasındaki küçük hareket farkları gibi sinyalin en belirleyici kısımlarını vurgulamayı öğreniyor; aynı zamanda orijinal bilgiyi koruyan bir kısayol yolunu muhafaza ediyor. Bu "residual" kısayol, öğrenme sinyallerinin ağ boyunca sorunsuz akmasını sağlayarak daha derin katmanlarda bilginin silinmesini önlüyor. Üçüncüsü, modele dikkat uygulanmadan önce ara özelliklere erişen ilave bir yardımcı sınıflandırıcı veriliyor. Eğitim sırasında bu yardımcı çıktı da değerlendirilerek erken katmanların etkinlik tahminleri yapabilecek yeterlilikte özellikler öğrenmesi nazikçe zorlanıyor; bu da öğrenmeyi stabilize edip hızlandırıyor.

Yeni yaklaşım ne kadar iyi performans gösteriyor

HybridHAR’ı test etmek için araştırmacılar, gönüllülerin bir akıllı telefon takarken altı temel etkinliği gerçekleştirdiği yaygın olarak kullanılan bir kamu veri setini kullandı: üç yürüyüş türü ile oturma, ayakta durma ve uzanma. Bu kıstasta HybridHAR, ayrılmış doğrulama verisinde yaklaşık %99 doğruluk ve görülmemiş test setinde %96 doğruluk elde ederek klasik konvolüsyonel ağlar, tekrarlı ağlar, hibrit modeller ve pekiştirmeli öğrenmeye dayalı yaklaşımlar da dahil olmak üzere birçok güçlü alternatifi geride bıraktı. Benzeri yürüyüş etkinliklerini ayırt etmede özellikle başarılıydı ve merdiven çıkma ile inme gibi karıştırılabilen çiftler arasındaki hataları azalttı. Ekip ayrıca üç bileşenin —çok ölçekli yollar, dikkat ve derin denetim— her birinin sonuçları ölçülebilir şekilde iyileştirdiğini ve tam modelin bunlardan birini eksik bırakan herhangi bir varyanta göre daha iyi performans gösterdiğini gösterdi.

Gerçek dünya cihazları için bunun önemi

Yüksek doğruluğuna rağmen HybridHAR kompakt ve hızlı kalıyor; birçok rakip modele göre çok daha az ayarlanabilir parametreye sahip ve saniyede yüzlerce etkinlik penceresini işlerken yaklaşık bir megabayt bellek kullanabiliyor. Ayrıca daha fazla etkinlik ve daha zengin sensör düzenlemelerine sahip daha karmaşık ikinci bir veri setine de iyi genelleşti ve orada daha da iyi performans gösterdi. Uzman olmayanlar için ana çıkarım şu: bu tasarım, gürültülü giyilebilir sinyalleri insanların ne yaptığını güvenilir, ayrıntılı şekilde tanımlayan pratik bir plana dönüştürmek için uygulanabilir bir şablon sunuyor. Böyle modeller geleceğin sağlık takipçilerini, akıllı evleri ve güvenlik sistemlerini hem daha güvenilir hem de sıradan cihazlarda çalıştırması daha kolay hale getirebilir.

Atıf: Huo, Y., Wei, C., Xu, Z. et al. Integrating multi-scale convolution and attention mechanisms in HybridHAR for high-performance human activity recognition. Sci Rep 16, 10143 (2026). https://doi.org/10.1038/s41598-026-40904-w

Anahtar kelimeler: insan etkinliği tanıma, giyilebilir sensörler, derin öğrenme, dikkat mekanizmaları, sağlık izlemesi