MmodalFire: מאגר נתונים מולטי‑מודלי רציף הכולל וידאו ונתוני חיישנים פיזיים לזיהוי שריפות פנימיות

מדוע אזעקות אש טובות יותר חשובות

במשרדים גדולים, מרכזי נתונים או בנייני דירות, כמה דקות יכולות להכריע בין אירוע קטן ללהבה קטלנית. גלאי עשן או חום תקרתיים מסורתיים לעתים מגיבים רק אחרי שהעשן עלה או שהחדר התחמם, וזה יכול לגזול זמן יקר. בינתיים, מצלמות אבטחה מודרניות צופות ברציפות באותם חללים אך יכולות להיות מטעות על ידי ערפל, אדים או השתקפויות בהירות. מאמר זה מציג סוג חדש של משאב: מאגר נתונים מתוכנן בקפידה שמשלב הן וידאו מצלמה והן קריאות חיישנים פיזיים, כך שמערכות בינה מלאכותית יכולות ללמוד לזהות שריפות פנימיות מהר יותר ובאופן אמין יותר מאשר כל שיטה בנפרד.

דרך חדשה להסתכל על שריפות פנימיות

המחברים מציגים את MmodalFire, מאגר ציבורי שנוצר במיוחד למחקר בתחום זיהוי שריפות פנימיות. במקום להסתמך רק על וידאו או על חיישנים עצמאיים, MmodalFire רושם את שני הסוגים בו‑זמנית. כל ניסוי תופס וידאו ברזולוציה גבוהה יחד עם שישה סוגי פלט של חיישנים, כולל צפיפות עשן, טמפרטורה וקרינה במספר תחומי אינפרא‑אדום ואולטרה‑סגול. כל רצף קצר מתוייג בפשטות כ"אש" או "לא אש", מה שמאפשר למודלים ממוחשבים ללמוד להבחין בין אירועים מסוכנים לדמויי‑אש תמימים. על ידי הפיכת מאגר זה לזמין בחינם, הצוות מבקש לספק לחוקרים משטח בדיקה משותף וריאליסטי להשוואת אלגוריתמי זיהוי אש.

כיצד נבנו הניסויים

כדי לבנות את MmodalFire, החוקרים הקימו חדרי ניסוי זהים בשני מעבדות בסין. כל חדר היה בגודל של משרד קטן, עם קירות קבועים וגלאים תקרתיים וכן מצלמה בפינה אחת לקבלת שדה ראייה מלא. הם ביצעו שריפות מבוקרות של ארבעה חומרים נפוצים בפנים: עץ, חבל כותנה, קצף פוליאוריתן (כמו מילוי ריהוט) ו‑n‑הפטן (נוזל בוער נקי הדומה לחלק מהדלקים). כדי לוודא שהמערכת תוכל גם ללמוד מה אינו אש, הם יצרו שתי תנאי הפרעה: עשן תיאטרלי מתעשן יבש ומיזוג מים מלהטפה ביתית. במהלך כל ניסוי המצלמה והחיישנים פעלו ברצף, רושמים פריימים ווידאו וקריאות מספריות עם חותמות זמן מדויקות.

לכידת שונות מעולם אמיתי

מבנים אמיתיים שונים בתאורה, בתנועת אוויר ובמרחק בו עשויה להיות אש מכל גלאי, ולכן הצוות שינה גורמים אלה במכוון. הם כווננו רוח מאוויר עומד עד משב רוח עדין, החליפו בין תאורה עזה לעמומה, שינו את כמות הדלק שבה השתמשו, והזיזו את מקור האש קרוב יותר או הרחק מהחיישנים ומהקירות. בהרצות מסוימות האש ייצרה עשן שחור צפוף וחימום מהיר; באחרות, כמו ב‑n‑הפטן, הלהבות היו ברורות עם מעט עשן. במקרה השלילי, מיזוג מים ואדי קרח יבש נראו דומים מאוד לעיניים של המצלמה אך כמעט ולא הפריעו לחיישנים הפיזיים. בסך הכל הם אספו 65 רצפי וידאו — מעל 700 דקות של חומר — עם נתוני חיישנים מסונכרנים, וחילקו אותם לרבים של קטעי חמש שניות חופפים שניתן להשתמש בכל אחד מהם כדוגמת אימון יחידה.

להכשיר מכונות לשלב חושים

באמצעות MmodalFire, המחברים בנו ובחנו מספר מודלים ממוחשבים. חלק מהמודלים השתמשו רק בווידאו, אחרים רק בקריאות חיישנים, והמתקדמים ביותר טיפלו בשילוב של שניהם. ענף הווידאו הסתמך על רשת למידת עומק קלת משקל המותאמת לתנועה ומראה בקטעים קצרים. ענף החיישנים התייחס לששת הזרמים המספריים כרשת קטנה שמשתנה בזמן והשתמש בטכניקות מודרניות כגון טרנספורמרים כדי להבין את הדפוסים שלהם. מודול איחוד הביא אז את שני הזרמים הללו יחד, ואיפשר למודל "להחליט" כמה משקל לתת לכל מקור בתנאים שונים. כאשר הוערך על נתוני מבחן נפרדים, המודל המשולב הראה ביצועים בולטים על פני כל אחת מהגישות החד‑מקוריות, במיוחד במצבים בעייתיים כגון עשן שטרם הגיע לגלאי התקרה או אדי חסרי‑נזק שנראים כעשן במצלמה.

אזעקות יציבות לחללים מורכבים

המסקנה של המחקר היא שוידאו מסונכרן בקפידה ונתוני חיישנים פיזיים יכולים להפוך אזעקות אש פנימיות למהירות ומהימנות יותר. על ידי הוכחה שמודל מאוחד יכול להמשיך לפעול גם כאשר המצלמה חסומה או כאשר החיישנים מגיבים באיטיות, העבודה מצביעה על מערכות חכמות יותר למתקנים קריטיים כגון תחנות כוח, חדרי שרתים ובניינים בעלי תפוסה גבוהה. MmodalFire מספק לחוקרים מאגר משותף וריאליסטי לעיצוב והשוואה של מערכות כאלה, ופותח פתח לאזעקות דור הבא שמשתמשות בכמה "חושים" כדי לזהות סכנה אמיתית ולשתוק בנוכחות אדים או עשן במהות במה שגרת היומיום.

ציטוט: Jia, Y., Guo, Y., Chen, Y. et al. MmodalFire: A Continuous Multimodal Dataset Comprising Video and Physical Sensing Data for Detecting Indoor Fires. Sci Data 13, 489 (2026). https://doi.org/10.1038/s41597-026-06810-6

מילות מפתח: זיהוי שריפות פנימיות, חיישנים מולטי‑מודליים, השגחה בווידאו, מאגר נתוני בטיחות מפני אש, אזעקות למידת עומק