MmodalFire: 屋内火災検出のための映像と物理センサデータを含む連続的マルチモーダルデータセット

なぜより良い火災警報が重要か

大規模なオフィス、データセンター、アパートのような場所では、数分の差が小さな事故と致命的な火災を分けます。従来の天井設置型の煙検知器や熱検知器は、煙が上昇するか室温が上がってから反応することが多く、貴重な時間が失われる可能性があります。一方で、現代の監視カメラは同じ空間を継続的に監視していますが、霧や蒸気、強い反射で誤認することがあります。本稿は新しい資源を紹介します。カメラ映像と物理センサの計測値を組み合わせた慎重に設計されたデータセットで、人工知能が単独の方法よりも早く、より確実に屋内火災を見分けられるよう学習できるようにします。

屋内火災を捉える新しい視点

著者らは、屋内火災検出研究向けに作られた公開データセット「MmodalFire」を提示します。映像か単独のセンサのどちらかに依存するのではなく、MmodalFireは両者を同時に記録します。各実験では高解像度ビデオと、煙密度、温度、いくつかの赤外線・紫外線帯域の放射など、6種類のセンサ出力を同時にキャプチャします。各短いシーケンスは「火」か「非火」と単純にラベル付けされており、コンピュータモデルが危険な事象と無害な類似事象を区別することを学べます。このデータセットを自由に利用可能にすることで、研究者に火災検出アルゴリズムを比較するための共通かつ現実的なテストベッドを提供することを目指しています。

実験の構築方法

MmodalFireを構築するために、研究チームは中国の2つの研究室で同一の試験室を設置しました。各室は小さなオフィス程度の大きさで、固定された壁と天井取り付け型の検知器、そして全景を撮るための隅のカメラがありました。木材、綿ロープ、ポリウレタンフォーム（家具の詰め物に類するもの）、およびn‑ヘプタン（いくつかの燃料に似たクリーン燃焼性の液体）の4種類の一般的な屋内材料を制御燃焼しました。システムが「火でない」場合も学習できるように、ドライアイス由来の演出用煙と家庭用加湿器による水ミストという2つの妨害条件も用意しました。各試験中、カメラとセンサは連続稼働し、ビデオフレームと数値データを正確なタイムスタンプ付きで記録しました。

現実世界の多様性を捉える

実際の建物は照明、気流、火が各検知器にどれだけ近いかで異なるため、チームはこれらの要因を意図的に変化させました。静穏な空気からやさしいそよ風まで風を調整し、明るい照明と薄暗い照明を切り替え、燃料量を変え、火をセンサや壁に近づけたり遠ざけたりしました。ある試行では濃い黒煙と急速な加熱が発生し、別の試行ではn‑ヘプタンのように煙はほとんど出ずに明瞭な炎だけが見られました。ネガティブケースでは、水ミストやドライアイス蒸気がカメラ映像上は煙と非常によく似て見えた一方で、物理センサにはほとんど影響を与えませんでした。合計で65本のビデオシーケンス（合計700分超の映像）を、同期したセンサデータとともに収集し、それらを多くの重複する5秒クリップに切り分けて、それぞれを単一のトレーニング例として使用できるようにしました。

複数の感覚を組み合わせて機械に教える

MmodalFireを用いて、著者らは複数のコンピュータモデルを構築・評価しました。あるモデルはビデオのみ、別のモデルはセンサ読み取り値のみを使用し、最も高度なモデルは両者を融合しました。ビデオ枝は短いクリップの動きと外観に適した軽量の深層学習ネットワークを用いました。センサ枝は6つの数値ストリームを時間変化する小さなグリッドとして扱い、トランスフォーマーのような現代的手法でそのパターンを理解しました。融合モジュールはこれら二つの流れを結合し、異なる条件下で各ソースにどれだけ重みを与えるかを“決定”できるようにしました。独立したテストデータで評価したところ、統合モデルは単一ソースのアプローチを明確に上回り、特に天井の検知器にまだ煙が達していない場合やカメラ上で煙に見える無害な蒸気といった厄介な状況で優位性を示しました。

複雑な空間向けの頑健な警報

この研究は、厳密に同期された映像と物理センサデータを組み合わせることで、屋内火災警報がより速く、より信頼できるものになると結論付けています。融合モデルがカメラが遮られた場合やセンサの反応が遅い場合でも動作し続けられることを示すことで、発電所、サーバールーム、高占有率建物など重要施設向けのより賢いシステムへの道を示しています。MmodalFireは研究者がそのようなシステムを設計・比較するための共有される現実的なデータセットを提供し、複数の“感覚”を用いて実際の危険を認識しながら日常的な蒸気や舞台用煙には不用意に反応しない次世代の警報の実現への扉を開きます。

引用: Jia, Y., Guo, Y., Chen, Y. et al. MmodalFire: A Continuous Multimodal Dataset Comprising Video and Physical Sensing Data for Detecting Indoor Fires. Sci Data 13, 489 (2026). https://doi.org/10.1038/s41597-026-06810-6

キーワード: 屋内火災検出, マルチモーダルセンサ, ビデオ監視, 防火データセット, ディープラーニング警報