שומר אקוסטי: סיווג היררכי של צליל צעדים באמצעות ייצוגי תכונות אקוסטיות דקימות וגסות לצורך מעקב טקטי

מאזינים לצעדים הנסתרים

דמיינו זיהוי אנשים הנעים בתוך יער חשוך או לאורך גבול מרוחק בלי מצלמה אחת — רק על סמך הקשבה לצעדים שלהם. המחקר הזה חוקר כיצד קולות עדינים שדורכים יכולים להפוך לכלי התרעה מוקדמת רב‑עוצמה עבור חיילים, שוטרים וחוקרים, במיוחד במקומות שבהם מצלמות לא מתפקדות או החשמל מוגבל.

מדוע מצלמות אינן מספיקות

אבטחה מודרנית נשענת לעתים קרובות על מעקב וידאו, אך למצלמות יש מגבלות ברורות: הן זקוקות לשורת ראייה ישירה, צורכות הרבה חשמל ויכולות להיות קשות לפריסה מהירה בשטח קשה או עוין. מחסומים ניידים, שמירות גבול וצוותי נגד‑טרור פועלים לעתים בלילה, מתחת לצמחיה צפופה או באזורים הרריים שבהם התקנה ותחזוקה של רשת מצלמות אינה פרקטית. במצבים כאלה הקול הופך לאלטרנטיבה מושכת. מיקרופונים קלים, זולים יותר להפעלה ויכולים "לשמוע מסביב לפינות", לתפוס אנשים לפני שיהפכו לנראים. צעדים, אם כי שקטים יחסית, בולטים בהרבה סביבות טקטיות שבהן רעש רקע נמוך, מה שהופך אותם לאות מבטיח להתרעה מוקדמת ולשחזור פורנזי של אירועים.

בניית מאגר צעדים מהעולם האמיתי

כדי להפוך את הרעיון למערכת עובדת, החוקרים נאלצו תחילה לפתור בעיה בסיסית: לא היה מאגר מתאים של הקלטות צעדים מהעולם האמיתי. מסדי נתונים קיימים כוללים מעט צעדים, בעיקר להכרה כללית של קולות או להתאמת זהות, ולעיתים תועדו בתנאי מעבדה מבוקרים. ברוב המקרים הם אינם מציינים האם הצליל הגיע מיער, מרחוב או מבית, ואינם מפרטים אם נעשה על ידי אדם יחיד או על ידי קבוצה. לכן הקבוצה יצרה משאב חדש בשם EWFootstep 1.0. הוא מכיל 1,650 קטעי שמע מ‑176 מתנדבים שהלכו באופן טבעי ביערות, על כבישים ובחללים פנימיים בשלוש אזורים שונים בהודו. ההקלטות כוללות שילוב של נעליים עם סוליות רכות וקשות, משטחים שונים ותנאי שטח ריאליסטיים כגון מיקום מיקרופון לא אחיד. כל קטע מכיל לפחות 15 צעדים מתויגים לפי סוג הסביבה והאם מדובר באדם יחיד או בקבוצה.

מלמדים מכונה לשמוע כמו סייר

עם מאגר זה ביד, המחברים תכננו מערכת הקשבה המדמה את האופן שבו סייר מיומן עשוי לפרש צליל. במקום להתייחס לכל המשימות כשוות, המודל ההיררכי הרב‑משימתי שלהם מחליט תחילה היכן הקול מתרחש — ביער, בדרך או בפנים — ואז, בהסתמך על ההקשר הזה, מעריך האם מדובר באדם אחד או יותר. האודיו מומר לספקטרוגרמות צבעוניות שמראות כיצד האנרגיה מתפרסת בתדירויות לאורך זמן. מערך שכבות קונבולוציה מזהה פרטים דקים הקשורים למשטחים ולנעליים, כגון חרחור עלים או הדהוד של מגפיים על בטון. תכונות אלה עוברות לאחר מכן למודול טרנספורמר, מנוע עיבוד רצפים מודרני הבוחן דפוסים על פני זמן רב — קצב, מרווחים והתנגשויות חוזרות — במקום צלילים מבודדים. קידוד מיקום עוזר למודל לעקוב אחרי הסדר בזמן, שהוא חיוני לזיהוי דפוסי הליכה.

כמה טוב עובד השומר האקוסטי?

החוקרים השוו את המודל ההיררכי שלהם לגישות פשוטות יותר, כגון מסווג יחיד הכולל את כל המשימות ועיצוב רב‑משימתי סטנדרטי שבו הסביבה ומספר האנשים חזויים באופן עצמאי. הם גם בחנו וריאציות שבהן הוסרו רכיבים מרכזיים כמו שכבות הקונבולוציה או הטרנספורמר. בכל המבחנים, העיצוב המלא עם שני המודולים וקידוד מיקום סיפק את התוצאות הטובות ביותר. במאגר EWFootstep 1.0 זיהה נכון את סוג הסביבה בכ‑96 אחוז מהמקרים ואת מספר האנשים בדיוק דומה — שיפור משמעותי על פני מאזינים אנושיים מאומנים, שהיו מאחורים ב‑25 עד 30 נקודות אחוז. ניסויים נוספים על מאגר קולות שיעול הראו שהארכיטקטורה מתכללת היטב מעבר לצעדים, מה שמצביע על היכולות שלה לטפל בסוגים שונים של קול יומיומי.

משדה הקרב ועד לזירת הפשע

לעיני הקוראים הלא‑מומחים, המסקנה המרכזית היא שקולות יומיומיים חלשים כמו צעדים מכילים הרבה יותר מידע ממה שבדרך כלל מבחינים בו. על ידי שילוב של מאגרי נתונים גדולים וריאליסטיים עם כלי זיהוי תבניות מתקדמים, המחברים מראים שמערכת קומפקטית יכולה לקבוע במהימנות באיזה סוג מקום היא מאזינה וכמה אנשים נמצאים בו, בזמן כמעט אמת וללא מצלמות. "השומר האקוסטי" הזה יכול לסייע בהגנה על סיורים ומתקנים מרוחקים, ויכולת הניתוח שלו של דפוסי קול עדינים עשויה גם לתרום לפורנזיקה של אודיו, למשל בשחזור תנועות בזירת פשע כאשר הווידאו אינו זמין או לא אמין.

ציטוט: Agrahri, A., Maurya, C.K., Tiwari, R.S. et al. Acoustic sentinel: hierarchical classification of footstep sound using fine and coarse-grain acoustic feature representations for tactical surveillance. Sci Rep 16, 5635 (2026). https://doi.org/10.1038/s41598-026-35756-3

מילות מפתח: מעקב אקוסטי, זיהוי צעדים, מערכות התרעה מוקדמת, למידה עמוקה באודיו, אבטחה טקטית