Voorspellen van verspreiding en doorstroom in samenkomsten en menigtes met YOLOv4 en DeepSORT

Waarom het van bovenaf bekijken van menigten ertoe doet

Als miljoenen mensen zich op één plek verzamelen, kan een simpele struikelpartij of plotselinge ruk aanzet geven tot gevaar binnen enkele seconden. De jaarlijkse Hadj en Umrah-pelgrimages in Saoedi-Arabië trekken tot vier miljoen gelovigen en vormen daarmee enkele van de dichtste menigten op aarde. Deze studie onderzoekt hoe kunstmatige intelligentie deze grote, bewegende menigten via camera’s kan volgen: automatisch mensen kan tellen, hun beweging kan volgen en autoriteiten kan waarschuwen voordat gevaarlijke ophopingen ontstaan.

Grote samenkomsten, grote risico’s

Traditionele menigtebeheersing steunt op menselijke waarnemers, vaste barrières en zorgvuldig geplande routes. Maar menselijke ogen raken vermoeid en menigten gedragen zich onvoorspelbaar. Tijdens de Hadj verplaatsen pelgrims zich tussen belangrijke heilige locaties via paden, wegen en open pleinen die snel knelpunten kunnen worden. De auteurs stellen dat om mensen veiliger te houden, functionarissen hulpmiddelen nodig hebben die in realtime het hele plaatje zien: waar mensen dicht opeen staan, waar ze uitdunnen en hoe snel ze een ruimte binnenkomen of verlaten.

Computers leren mensen te zien

Om zo’n instrument te bouwen gebruiken de onderzoekers twee geavanceerde computer-visionmethoden. De eerste, YOLOv4, is getraind om mensen in afbeeldingen te vinden door voor elk persoon een kader te tekenen, zelfs in dicht opeengepakte scènes. De tweede, DeepSORT, neemt die detecties en volgt elke persoon over vele videoframes, waarbij ieder een onzichtbare ID krijgt zodat hun traject in de tijd kan worden getraceerd. Het team stelde een grote verzameling afbeeldingen en video’s samen van de Hadj 2019, gemaakt in verschillende gebieden rond de berg Arafat. Ze labelden zorgvuldig tienduizenden menselijke hoofden en lichamen, haalden onscherpe beelden uit de dataset en vergrootten de data met kleine variaties zodat het systeem betrouwbaar blijft onder verschillende lichtomstandigheden, hoeken en menigdichtheden.

Van bewegende stipjes naar menigteschaal

Zodra het systeem individuen kan vinden en volgen, kan het die bewegende stipjes omzetten in een beeld van hoe de menigte zich gedraagt. Door te tellen hoeveel mensen een bepaald gebied binnenkomen en verlaten en hoe dicht ze op elkaar staan, classificeert het systeem menigtdichtheid in drie intuïtieve niveaus: laag, medium en hoog. In plaats van te vertrouwen op ruwe schattingen of vertraagde rapporten, kunnen beheerders zien waar mensen zich soepel verspreiden en waar kritieke knelpunten ontstaan. Omdat DeepSORT is ontworpen om om te gaan met mensen die elkaar deels blokkeren en er zeer vergelijkbaar uitzien (zoals bij de overwegend witte kleding van pelgrims), kan het stabiele trajecten bijhouden, zelfs in dichtbevolkte, visueel verwarrende scènes.

Hoe goed het systeem presteert

De auteurs hebben hun opzet grondig getest. Ze vergeleken verschillende versies van de YOLO-familie en verschillende trackingmethoden, en vonden uiteindelijk dat YOLOv4 in combinatie met DeepSORT het beste presteerde op echte Hadj-opnamen. Na het afstemmen van de modellen en training op de samengestelde dataset detecteerde YOLOv4 mensen met meer dan 95% nauwkeurigheid en een zeer goede balans tussen gemiste detecties en valse meldingen. DeepSORT volgde individuen met meer dan 91% nauwkeurigheid en herstelde hun paden zelfs wanneer ze kortstondig achter anderen verborgen waren. Vergeleken met soortgelijke systemen die voor verkeer, sociale afstandsbewaking of andere menigtescènes worden gebruikt, evenaarde of overtrof deze op de Hadj gerichte aanpak de beste gerapporteerde resultaten en werkte ze in één van de meest uitdagende omgevingen.

Wat dit in de praktijk kan betekenen

In de praktijk kan zo’n systeem achter bestaande bewakingscamera’s draaien en continu monitoren hoe pelgrims zich verplaatsen. Wanneer het aantal mensen in een doorgang de veilige limiet nadert of wanneer een plein ongelijk begint vol te lopen, kan de software functionarissen waarschuwen om barrières aan te passen, stromen om te leiden of berichten naar vrijwilligers ter plaatse te sturen. Naast veiligheid kunnen dezelfde inzichten helpen bij het aanwijzen van plekken voor medische teams, toiletten en vervoersverbindingen, en planners ondersteunen bij het herontwerpen van routes voor toekomstige seizoenen op basis van echte gegevens in plaats van giswerk. De auteurs merken ook op dat dezelfde aanpak nuttig kan zijn bij grote sportevenementen, concerten of festivals.

Een slimmer, veiliger manier om menigten te begeleiden

Voor de leek is de kernboodschap eenvoudig: computers kunnen nu enorme menigten zorgvuldiger en consistenter observeren dan welk menselijk team dan ook, en ruw videomateriaal omzetten in vroege waarschuwingen en praktische aanwijzingen. Door persoonsdetectie en tracking te combineren in één robuust systeem laat dit onderzoek zien dat het mogelijk is de stroom van miljoenen pelgrims in realtime te monitoren, te classificeren hoe druk elk gebied is en te handelen voordat situaties gevaarlijk worden. Als dergelijke middelen verder worden ontwikkeld en verantwoord worden ingezet, zouden ze grote religieuze bijeenkomsten en andere massaevenementen veiliger, soepeler en minder stressvol kunnen maken voor iedereen die erbij betrokken is.

Bronvermelding: Aljojo, N., Ardah, H., Alamri, A. et al. Predicting congregational and crowd spread-out flow using YOLOv4 and DeepSORT. Sci Rep 16, 13869 (2026). https://doi.org/10.1038/s41598-026-44719-7

Trefwoorden: menigtebeheer, computer vision, Hadj-veiligheid, objecttracking, deep learning