DVS-PedX: Synthetische-en-Real-Eventgebaseerde Dataset voor Voetgangers

Waarom Sneller Zien op de Weg Ertoe Doet

Als bestuurder kan een fractie van een seconde bepalen of je op tijd stopt bij een zebrapad. Huidige assistentiesystemen gebruiken meestal gewone videocamera’s die meerdere volledige beelden per seconde vastleggen. Een nieuw type “eventcamera” werkt echter meer als het menselijk netvlies en reageert alleen op veranderingen in helderheid per pixel. Dit artikel introduceert DVS‑PedX, een grote dataset bedoeld om onderzoekers te helpen zulke camera’s — en door de hersenen geïnspireerde algoritmen — te trainen om te detecteren wanneer mensen op het punt staan de straat over te steken, zelfs bij regen, mist of ’s nachts.

Van Gewone Video naar een Nieuw Soort Zicht

Traditionele camera’s maken volledige snapshots op vaste tijdstippen, ongeacht of er beweging is. Eventcamera’s daarentegen melden korte flitsen van informatie telkens wanneer een punt in de scène helderder of donkerder wordt. Elke flits bevat de locatie, tijd en of de helderheid toenam of afnam, met timing tot op microseconden nauwkeurig. Daardoor zijn ze van nature goed in het opvangen van beweging en randen en negeren ze grotendeels statische achtergronden. Voor taken zoals het spotten van voetgangers en het voorspellen van hun intenties kan dit “alleen wat verandert” perspectief efficiënter, sneller en robuuster zijn bij verblinding, schaduwen of koplampen dan conventionele video.

Een Virtuele Stad van Zebrapaden Bouwen

Om onderzoekers gecontroleerde data te geven, gebruikten de auteurs eerst de CARLA‑rijsimulator om honderden virtuele straatscènes te creëren. Een zelfrijdende auto nadert een zebrapad terwijl een digitale voetganger er wel of niet op kan stappen. Verlichting (dag, schemer, nacht) en weer (helder, regen, mist) worden per rit afgewisseld, net als het uiterlijk van voetgangers en het exacte tijdstip van eventuele oversteek. Twee virtuele sensoren, een gewone kleurcamera en een gesimuleerde eventcamera, kijken vanuit het perspectief van de bestuurder. Het systeem neemt standaardvideo op met 30 frames per seconde en compresseert gelijktijdig de eventstream in “eventframes” elke 33 milliseconden zodat die samenvalt met elk videoframe. Elk frame is eenvoudig gelabeld als “crossing” of “not crossing”, wat het trainen en testen van voetgangersbewuste systemen rechttoe rechtaan maakt.

Reële Dashcams Omzetten naar Eventstreams

Alleen virtuele scènes zijn niet genoeg: echte straten zijn rommeliger. Om dit vast te leggen bouwde het team een tweede component gebaseerd op een veelgebruikte dashcamverzameling genaamd JAAD, met korte clips van stadsritten en zorgvuldig geannoteerd voetgangergedrag. Ze zetten alle 346 clips door een conversietool die simuleert hoe een eventcamera op elk frame zou reageren. Deze tool modelleert helderheidsveranderingen per pixel en interpoleert zelfs tussen frames om continue beweging te benaderen. Het resultaat is een “synthetische eventweergave” van echte wegen, met scherpe bewegingsranden waar mensen en auto’s bewegen en waarbij veel van de statische achtergrond wegvalt. De auteurs vergeleken deze geconverteerde streams met data van fysieke eventcamera’s uit de praktijk en toonden aan dat de synthetische events overeenkomen met de echte in totale activiteit, structuur en timing.

Wat de Dataset Bevat en Hoe Hij Presteert

DVS‑PedX combineert 198 gesimuleerde reeksen uit CARLA en 346 geconverteerde real‑world clips uit JAAD. Elke reeks biedt gekoppelde paren van kleurbeelden en eventframes, ruwe eventbestanden voor fijnmazige tijdsanalyse en frame‑niveau labels voor oversteken. Oversteken zijn relatief zeldzaam, wat het echte verkeer weerspiegelt en het leerprobleem realistisch en uitdagend maakt. Om te tonen dat de dataset nuttig maar niet triviaal is, trainden de auteurs spiking neural networks — algoritmen die informatie verwerken in discrete pulsen, vergelijkbaar met biologische neuronen. Deze modellen presteerden goed op de synthetische reeksen maar vielen in nauwkeurigheid terug wanneer direct getest op de geconverteerde real‑world data, en verbeterden weer toen een beetje echte data aan de training werd toegevoegd. Deze “simulatie‑naar‑realiteit‑kloof” bevestigt dat de dataset onderzoek in domeinaanpassing en multimodale fusie kan stimuleren.

Veiliger Straten door Slimmere Sensoriek

In eenvoudige bewoordingen is DVS‑PedX een zorgvuldig samengestelde bibliotheek van momenten waarop mensen mogelijk wel of niet de straat oversteken, gezien door zowel gewone als eventgebaseerde “ogen.” Door schone simulaties en ruwe real‑world dashcambeelden te bestrijken, en door duidelijke labels en open‑source hulpmiddelen te bieden, levert het onderzoekers een gemeenschappelijk testbed om te onderzoeken hoe voetgangers te detecteren en hun intenties te voorspellen onder moeilijke omstandigheden. De hoop is dat toekomstige assistentiesystemen en robots, door te leren van deze dataset, sneller en betrouwbaarder zullen reageren — en zo een stap dichterbij veiligere, attentere machines op onze wegen brengen.

Bronvermelding: Sakhai, M., Sithu, K., Oke, M.K.S. et al. DVS-PedX: Synthetic-and-Real Event-Based Pedestrian Dataset. Sci Data 13, 614 (2026). https://doi.org/10.1038/s41597-026-06969-y

Trefwoorden: eventcamera's, voetgangersveiligheid, autonoom rijden, neuromorfe visie, verkeersdatasets