MmodalFire: Непрерывный мультимодальный набор данных, включающий видео и физические сенсорные данные для обнаружения пожаров в помещениях

Почему важны более совершенные пожарные сигналы

В больших офисах, центрах обработки данных или жилых домах несколько минут могут решить, станет ли происшествие мелким инцидентом или приведёт к смертельному пожару. Традиционные потолочные дымовые или тепловые датчики часто срабатывают лишь после того, как дым поднялся или помещение заметно прогрелось — а это отнимает драгоценное время. Между тем современные камеры видеонаблюдения непрерывно следят за теми же пространствами, но их легко ввести в заблуждение туманом, паром или яркими отражениями. В этой статье представлен новый ресурс: тщательно разработанный набор данных, который объединяет видеозапись с показаниями физических датчиков, чтобы системы искусственного интеллекта могли научиться обнаруживать пожары в помещениях быстрее и надёжнее, чем любой из методов по‑отдельности.

Новый взгляд на пожары в помещениях

Авторы представляют MmodalFire — открытый набор данных, созданный специально для исследований по обнаружению пожаров в помещениях. Вместо того чтобы опираться либо на видео, либо на автономные датчики, MmodalFire регистрирует оба источника одновременно. Каждый эксперимент фиксирует видео высокой чёткости вместе с показаниями шести типов датчиков, включая плотность дыма, температуру и излучение в нескольких инфракрасных и ультрафиолетовых диапазонах. Каждая короткая последовательность маркируется просто как «пожар» или «не пожар», что позволяет компьютерным моделям учиться отличать опасные события от безобидных похожих явлений. Делая этот набор данных общедоступным, команда стремится предоставить исследователям общий, реалистичный тестовый полигон для сравнения алгоритмов обнаружения пожаров.

Как были устроены эксперименты

Для создания MmodalFire исследователи подготовили одинаковые испытательные комнаты в двух лабораториях в Китае. Каждая комната была примерно размером с небольшой офис, с фиксированными стенами, потолочными датчиками и камерой в углу для полного обзора. Они проводили контролируемые горения четырёх распространённых материалов: древесины, хлопковой верёвки, полиуретановой пены (как в наполнителях мебели) и н‑гептана (чисто горящая жидкость, похожая на некоторые топлива). Чтобы система также могла научиться распознавать то, что не является пожаром, были созданы два помеховых условия: театральный дым из сухого льда и туман от бытового увлажнителя. Во время каждого испытания камера и датчики работали непрерывно, записывая видеокадры и числовые показания с точными отметками времени.

Фиксация разнообразия реальных условий

Реальные здания отличаются освещением, движением воздуха и расстоянием от возможного очага возгорания до датчиков, поэтому команда специально варьировала эти факторы. Они меняли ветер от штиля до лёгкого бриза, переключали яркое и тусклое освещение, изменяли количество топлива и перемещали очаг возгорания ближе или дальше от датчиков и стен. В некоторых запусках пожар давал густой чёрный дым и быстрое нагревание; в других, например при горении н‑гептана, пламя было ясным с минимальным количеством дыма. В негативных случаях водяной туман и пары сухого льда выглядели на изображении камеры очень похоже на дым, но почти не влияли на физические датчики. В общей сложности ими было собрано 65 видеопоследовательностей — более 700 минут материала — с синхронизированными данными датчиков, которые затем разрезали на множество перекрывающихся пятиминутных клипов, каждый из которых мог служить отдельным учебным примером.

Обучение машин комбинировать ощущения

Используя MmodalFire, авторы построили и протестировали несколько компьютерных моделей. Некоторые модели опирались только на видео, другие — только на показания датчиков, а самые продвинутые объединяли оба потока. Видеоблок базировался на лёгкой нейросети глубокого обучения, адаптированной для движения и внешнего вида в коротких клипах. Блок датчиков рассматривал шесть числовых потоков как небольшую сетку, меняющуюся во времени, и использовал современные методы, такие как трансформеры, для понимания их паттернов. Модуль слияния затем объединял эти два потока, позволяя модели «решать», какой вес присвоить каждому источнику в разных условиях. При оценке на отдельной тестовой выборке комбинированная модель явно превзошла подходы с одним источником, особенно в сложных ситуациях, таких как дым, ещё не добравшийся до потолочных датчиков, или безвредные испарения, которые по изображению камеры походили на дым.

Надёжные сигнализации для сложных помещений

Исследование делает вывод, что тщательно синхронизированные видео- и физические данные сенсоров могут сделать системы обнаружения пожаров в помещениях одновременно быстрее и надёжнее. Показав, что объединённая модель продолжает работать даже когда камера закрыта или датчики срабатывают с задержкой, работа указывает путь к более умным системам для критически важных объектов — электростанций, серверных и зданий с высокой плотностью людей. MmodalFire предоставляет исследователям общий реалистичный набор данных для разработки и сравнения таких систем, открывая дорогу системам следующего поколения, которые используют несколько «чувств», чтобы распознавать реальную опасность и при этом не реагировать на обычный пар или сценический дым.

Цитирование: Jia, Y., Guo, Y., Chen, Y. et al. MmodalFire: A Continuous Multimodal Dataset Comprising Video and Physical Sensing Data for Detecting Indoor Fires. Sci Data 13, 489 (2026). https://doi.org/10.1038/s41597-026-06810-6

Ключевые слова: обнаружение пожаров в помещениях, мультимодальные датчики, видеонаблюдение, набор данных по пожарной безопасности, сигнализация на основе глубокого обучения