Akustik nöbetçi: taktik gözetleme için ince ve kaba taneli akustik özellik temsilleriyle ayak sesi hiyerarşik sınıflandırması

Gizli Ayak Seslerini Dinlemek

Kameraların olmadığı bir ortamda —örneğin karanlık bir ormanda ya da ıssız bir sınır hattında— insanların hareketlerini sadece ayak seslerini dinleyerek tespit ettiğinizi hayal edin. Bu çalışma, yürüyüş sırasında ortaya çıkan ince seslerin, özellikle kameraların işe yaramadığı ya da enerji kısıtlı olduğu alanlarda askerler, polis ve soruşturmacılar için güçlü bir erken uyarı aracına nasıl dönüştürülebileceğini araştırıyor.

Neden Kameralar Yeterli Değil

Modern güvenlik sıklıkla video gözetimine dayanıyor, ancak kameraların açık dezavantajları var: doğrudan görüş hattına ihtiyaç duyarlar, çok enerji tüketirler ve engebeli veya düşmanca arazilerde hızlıca konuşlandırılması zor olabilir. Mobil kontrol noktaları, hudut devriyeleri ve terörle mücadele ekipleri gece, yoğun bitki örtüsü altında veya dağlık bölgelerde çalışabilir; bu tür yerlerde kamera ağları kurmak ve bakımını yapmak pratik değildir. Bu durumlarda ses çekici bir alternatif olur. Mikrofonlar hafif, daha az enerji gerektirir ve “köşeleri dinleyerek” insanları görünmeden önce algılayabilir. Ayak sesleri nispeten sessiz olsa da, ark plan gürültüsünün düşük olduğu birçok taktik ortamda öne çıkarak erken uyarı ve olayların adli yeniden üretimi için umut verici bir sinyal sunar.

Gerçek Dünyaya Yönelik Bir Ayak Sesi Kütüphanesi Oluşturmak

Bu fikri çalışan bir sisteme dönüştürmek için araştırmacıların önce temel bir problemi çözmesi gerekiyordu: gerçek dünyaya uygun bir ayak sesi kayıt koleksiyonu yoktu. Mevcut ses veri tabanlarında, genellikle laboratuvar koşullarında kaydedilmiş ve genel ses tanıma ya da kimlik eşleştirme amaçlı birkaç ayak sesi bulunuyor. Bunlar genellikle sesin ormanda mı, yolda mı yoksa kapalı mekânda mı kaydedildiğini ya da tek bir kişiye mi yoksa gruba mı ait olduğunu belirtmiyor. Ekip bu nedenle EWFootstep 1.0 adlı yeni bir kaynak oluşturdu. Veri seti, Hindistan’ın üç farklı bölgesinde ormanlar, yollar ve kapalı mekânlarda doğal olarak yürüyen 176 gönüllüden alınmış 1.650 ses klibi içeriyor. Kayıtlar yumuşak tabanlı ve sert tabanlı ayakkabıları, çeşitli zeminleri ve düzensiz mikrofon yerleşimi gibi gerçek saha koşullarını kapsıyor. Her klip en az 15 ayak sesi içeriyor ve hem ortam türü hem de tek kişi mi yoksa grup mu olduğu etiketlenmiş durumda.

Makineyi Bir Keşifçiye Benzer Şekilde Dinlemeyi Öğretmek

Bu veri setiyle, yazarlar bir keşifçinin ses hakkında nasıl akıl yürütüyor olabileceğini taklit eden bir dinleme sistemi tasarladı. Tüm görevleri eşit işlememek yerine, onların "hiyerarşik çok görevli" modeli önce sesin nerede gerçekleştiğine—orman, yol veya iç mekân—karar veriyor ve sonra bu bağlamı kullanarak tek kişi mi yoksa birden fazla mı olduğunu tahmin ediyor. Ses, zaman içinde frekanslar arasında enerjinin nasıl dağıldığını gösteren renkli spektrogramlara dönüştürülüyor. Bir dizi konvolüsyonel katman, yaprak hışırtısı veya beton üzerindeki bot gürültüsü gibi yüzey ve ayakkabı türleriyle ilişkili ince ayrıntıları ayıklıyor. Bu özellikler daha sonra bir transformer modülüne geçiyor; ritim, aralıklar ve tekrarlanan darbeler gibi birçok adıma yayılan desenleri inceleyen modern bir sıra işleme motoru. Konumsal kodlama, modelin zaman içindeki sıralamayı takip etmesine yardımcı oluyor; bu, yürüme desenlerini tanımak için elzemdir.

Akustik Nöbetçi Ne Kadar İyi Çalışıyor?

Araştırmacılar hiyerarşik modellerini, ortam ve kişi sayısını bağımsız tahmin eden standart çok görevli tasarım ve tek bir birleşik sınıflandırıcı gibi daha basit yaklaşımlarla karşılaştırdı. Ayrıca konvolüsyon katmanları veya transformer gibi kilit bileşenlerin çıkarıldığı varyantları test ettiler. Genel olarak, her iki modül ve konumsal kodlamayı içeren tam tasarım en iyi performansı gösterdi. EWFootstep 1.0 veri setinde ortamı yaklaşık yüzde 96 doğrulukla, kişi sayısını da benzer bir doğrulukla doğru tanımladı—bu, eğitimli insan dinleyicilerin yüzde 25–30 puan gerisinde kaldığından belirgin şekilde daha iyi. Öksürük sesleri veri seti üzerinde yapılan ek deneyler, aynı mimarinin ayak seslerinin ötesinde iyi genelleştiğini gösterdi ve bunun çok farklı günlük ses türleriyle de başa çıkabileceğini işaret etti.

Savaş Alanından Olay Yeri İncelemesine

Uzman olmayanlar için çıkarılacak ana ders, ayak sesleri gibi zayıf ve sıradan seslerin genellikle fark ettiğimizden çok daha fazla bilgi taşıdığıdır. Büyük, gerçekçi veri setlerini gelişmiş desen tanıma araçlarıyla birleştirerek yazarlar, kameralar olmadan veya kameraların güvenilmez olduğu durumlarda neredeyse gerçek zamanlı olarak dinlenen yerin türünü ve içeride kaç kişi olduğunu güvenilir şekilde söyleyebilen kompakt bir sistemin mümkün olduğunu gösteriyor. Bu "akustik nöbetçi", devriyeleri ve uzak tesisleri korumaya yardımcı olabilir; ayrıca ince ses desenlerini ayırma yeteneği, video olmadığında veya güvenilmez olduğunda bir suç mahallindeki hareketleri yeniden oluşturmak gibi ses adli tıbbına da katkı sağlayabilir.

Atıf: Agrahri, A., Maurya, C.K., Tiwari, R.S. et al. Acoustic sentinel: hierarchical classification of footstep sound using fine and coarse-grain acoustic feature representations for tactical surveillance. Sci Rep 16, 5635 (2026). https://doi.org/10.1038/s41598-026-35756-3

Anahtar kelimeler: akustik gözetleme, ayak sesi algılama, erken uyarı sistemleri, derin öğrenme ses, taktik güvenlik