MmodalFire: Een continue multimodale dataset met video- en fysieke sensorgegevens voor het detecteren van brand binnenshuis

Waarom betere brandalarmen ertoe doen

In grote kantoren, datacenters of appartementencomplexen kunnen enkele minuten het verschil betekenen tussen een klein voorval en een dodelijke brand. Traditionele aan het plafond gemonteerde rook- of hitte-detectoren reageren vaak pas nadat rook is opgestegen of de ruimte is opgewarmd, wat kostbare tijd kan kosten. Moderne beveiligingscamera’s houden daarentegen dezelfde ruimtes continu in de gaten, maar kunnen worden misleid door mist, stoom of felle reflecties. Dit artikel introduceert een nieuw soort hulpmiddel: een zorgvuldig ontworpen dataset die zowel camerabeelden als metingen van fysieke sensoren combineert, zodat kunstmatige intelligentiesystemen kunnen leren binnenshuis branden sneller en betrouwbaarder te detecteren dan met één methode alleen.

Een nieuwe manier om naar brand binnenshuis te kijken

De auteurs presenteren MmodalFire, een openbare dataset die specifiek is ontwikkeld voor onderzoek naar branddetectie binnenshuis. In plaats van te vertrouwen op alleen video of afzonderlijke sensoren, registreert MmodalFire beide gelijktijdig. Elke proef legt hoge-resolutie video vast samen met zes typen sensoruitgangen, waaronder rookdichtheid, temperatuur en straling in meerdere infra‑rode en ultraviolette banden. Elke korte sequentie is eenvoudig gelabeld als “brand” of “geen brand”, zodat computermodellen kunnen leren gevaarlijke gebeurtenissen te onderscheiden van onschuldige gelijkenissen. Door deze dataset gratis beschikbaar te stellen, wil het team onderzoekers een gemeenschappelijke, realistische testomgeving bieden om branddetectie-algoritmen te vergelijken.

Hoe de experimenten zijn opgezet

Om MmodalFire te bouwen zetten de onderzoekers identieke testkamers op in twee laboratoria in China. Elke kamer was ongeveer zo groot als een klein kantoor, met vaste wanden en aan het plafond gemonteerde detectoren plus een camera in één hoek voor een volledig overzicht. Ze voerden gecontroleerde verbrandingen uit van vier veelvoorkomende binnenmaterialen: hout, katoenen touw, polyurethaanschuim (zoals vulling in meubelen) en n‑heptaan (een schoon brandende vloeistof die lijkt op sommige brandstoffen). Om ervoor te zorgen dat het systeem ook kon leren wat geen brand is, creëerden ze twee verstoringscondities: theatrale rook gemaakt van droogijs en waternevel van een huishoudelijke luchtbevochtiger. Tijdens elke proef draaiden camera en sensoren continu en registreerden ze videoframes en numerieke metingen met precieze tijdstempels.

Het vastleggen van variatie uit de echte wereld

Werkelijke gebouwen verschillen in verlichting, luchtbeweging en hoe dicht een brand bij elke detector kan staan, dus het team varieerde deze factoren doelbewust. Ze stelden de wind in van stilstand tot een lichte bries, schakelden tussen helder en gedimd licht, veranderden de hoeveelheid brandstof en verplaatsten het vuur naar dichter bij of verder van sensoren en wanden. In sommige runs produceerde het vuur dichte zwarte rook en snelle opwarming; in andere gevallen, zoals bij n‑heptaan, waren de vlammen helder met weinig rook. Voor de negatieve gevallen leken waternevel en droogijsvapor in het camerabeeld sterk op rook, maar verstoorden de fysieke sensoren nauwelijks. Al met al verzamelden ze 65 videosequenties—ruim 700 minuten aan beeldmateriaal—met gesynchroniseerde sensorgegevens, die ze vervolgens in vele overlappende clips van vijf seconden hakten die elk als één trainingsvoorbeeld konden dienen.

Machines leren zintuigen te combineren

Met MmodalFire bouwden en testten de auteurs verschillende computermodellen. Sommige modellen gebruikten alleen video, andere alleen sensormetingen, en de meest geavanceerde fuseerden beide. De vide tak maakte gebruik van een lichtgewicht deep‑learning-netwerk dat was toegesneden op beweging en verschijning in korte clips. De sensortak behandelde de zes numerieke stromen als een klein raster dat in de tijd verandert en gebruikte moderne technieken zoals transformers om hun patronen te begrijpen. Een fusie-module bracht deze twee stromen vervolgens samen, zodat het model kon “beslissen” hoeveel gewicht het aan elke bron moest geven onder verschillende omstandigheden. Bij evaluatie op afzonderlijke testdata presteerde het gecombineerde model duidelijk beter dan elk enkelvoudig model, vooral in lastige situaties zoals rook die de plafonddetectoren nog niet had bereikt of onschuldige damp die op rook leek in de camera.

Robuuste alarmen voor complexe ruimtes

De studie concludeert dat zorgvuldig gesynchroniseerde video- en fysieke sensorgegevens binnenshuis brandalarmen zowel sneller als betrouwbaarder kunnen maken. Door aan te tonen dat een gefuseerd model kan blijven werken zelfs wanneer de camera wordt geblokkeerd of wanneer sensoren traag reageren, wijst het werk op slimmere systemen voor kritieke faciliteiten zoals energiecentrales, serverruimtes en gebouwen met hoge bezetting. MmodalFire biedt onderzoekers een gedeelde, realistische dataset om dergelijke systemen te ontwerpen en te vergelijken, en opent de deur naar volgende-generatie alarmen die meerdere “zintuigen” gebruiken om echt gevaar te herkennen terwijl ze stil blijven bij alledaagse stoom en toneelrook.

Bronvermelding: Jia, Y., Guo, Y., Chen, Y. et al. MmodalFire: A Continuous Multimodal Dataset Comprising Video and Physical Sensing Data for Detecting Indoor Fires. Sci Data 13, 489 (2026). https://doi.org/10.1038/s41597-026-06810-6

Trefwoorden: detectie van brand binnenshuis, multimodale sensoren, videobewaking, dataset voor brandveiligheid, deep learning-alarmen