DVS-PedX: Syntetisk-och-Real Händelsebaserat Fotgängardataset

Varför snabbare blickar på vägen spelar roll

När du närmar dig ett övergångsställe som förare kan en bråkdel av en sekund avgöra om du hinner stanna. Dagens förarstödsystem förlitar sig oftast på vanliga videokameror som fångar kompletta bilder många gånger per sekund. Men en nyare typ av "händelsekamera" fungerar mer som en mänsklig näthinna och reagerar bara på ljusförändringar i varje pixel. Denna artikel presenterar DVS‑PedX, ett stort dataset byggt för att hjälpa forskare att lära sådana kameror — och hjärninspirerade algoritmer — att upptäcka när människor är på väg att gå ut i gatan, även i regn, dimma eller nattetid.

Från vanlig video till en ny sorts syn

Traditionella kameror tar kompletta ögonblicksbilder med fasta intervall, oavsett om något rör sig eller inte. Händelsekameror rapporterar istället små informationsblixtar när en punkt i scenen blir ljusare eller mörkare. Varje blixt innehåller position, tid och om ljusstyrkan ökade eller minskade, med tidmätning i mikrosekunder. Det gör dem naturligt bra på att fånga rörelse och kanter samtidigt som i stort sett statiska bakgrunder ignoreras. För uppgifter som att upptäcka fotgängare och förutse deras avsikt kan detta "endast det som förändras"‑perspektiv vara mer effektivt, snabbare och mer robust mot bländning, skuggor eller strålkastare än konventionell video.

Bygga en virtuell stad av övergångsställen

För att ge forskare kontrollerad data att arbeta med använde författarna först CARLA‑simulatorn för att skapa hundratals virtuella gatsscener. En självkörande bil närmar sig ett övergångsställe medan en digital fotgängare kan eller inte kan kliva ut i vägen. Belysning (dag, skymning, natt) och väder (klart, regn, dimma) slumpas från körning till körning, liksom fotgängarens utseende och den exakta tidpunkten för eventuell korsning. Två virtuella sensorer, en vanlig färgkamera och en simulerad händelsekamera, blickar ut ur förarens vy. Systemet spelar in standardvideo vid 30 bilder per sekund och komprimerar parallellt händelseströmmen till "händelsebilder" var 33 millisekund så att de ligger i linje med varje videobildruta. Varje bildruta märks enkelt som "crossing" eller "not crossing", vilket gör det enkelt att träna och testa system med fotgängaruppmärksamhet.

Göra verkliga dashcams till händelseströmmar

Virtuella scener räcker inte ensam: verkliga gator är rörigare. För att fånga detta byggde teamet en andra komponent från en mycket använd dashcam‑samling kallad JAAD, som innehåller korta klipp av stadskörning med noggrant annoterade fotgängar‑beteenden. De körde alla 346 klippen genom ett konverteringsverktyg som simulerar hur en händelsekamera skulle reagera på varje bildruta. Verktyget modellerar ljusförändringar i varje pixel och interpolerar till och med mellan bildrutor för att approximera kontinuerlig rörelse. Resultatet är en "syntetisk händelsevy" av verkliga vägar, med skarpa rörelsekanter där människor och bilar rör sig och mycket av den statiska bakgrunden som faller bort. Författarna jämförde dessa konverterade strömmar med data från fysiska händelsekameror som används i tillverkning och visade att de syntetiska händelserna stämmer överens med de verkliga i total aktivitet, struktur och timing.

Vad datasetet innehåller och hur det presterar

DVS‑PedX kombinerar 198 simulerade sekvenser från CARLA och 346 konverterade verkliga klipp från JAAD. Varje sekvens erbjuder matchade par av färgbilder och händelsebilder, råa händelsefiler för finfördelad tidsanalys och bildrutemärkningar på korsning. Själva korsningarna är relativt sällsynta, vilket speglar verklig trafik och gör inlärningsproblemet realistiskt och utmanande. För att visa att datasetet är användbart men inte trivialt tränade författarna spiking‑neuronätverk — algoritmer som bearbetar information i diskreta pulser, liknande biologiska neuroner. Dessa modeller presterade starkt på de syntetiska sekvenserna men tappade i noggrannhet när de testades direkt på de konverterade verkliga data, för att sedan förbättras igen när en del verkliga data blandades in i träningen. Denna "simulering‑till‑verklighet‑klyfta" bekräftar att datasetet kan driva forskning inom domänanpassning och multimodal fusion.

Säkrare gator genom smartare sensorer

Enkelt uttryckt är DVS‑PedX ett omsorgsfullt sammanställt bibliotek av ögonblick då människor kan eller inte kan korsa gatan, sett genom både vanliga och händelsebaserade "ögon." Genom att spänna över rena simuleringar och grynig verklig dashcam‑film, och genom att inkludera tydliga etiketter och öppen källkod‑verktyg, ger det forskare en gemensam testbädd för att utforska hur man upptäcker fotgängare och förutser deras avsikt under svåra förhållanden. Förhoppningen är att genom att lära av detta dataset kommer framtida förarstöds‑ och robotsystem att reagera snabbare och mer tillförlitligt — vilket för oss ett steg närmare säkrare, mer uppmärksamma maskiner på våra vägar.

Citering: Sakhai, M., Sithu, K., Oke, M.K.S. et al. DVS-PedX: Synthetic-and-Real Event-Based Pedestrian Dataset. Sci Data 13, 614 (2026). https://doi.org/10.1038/s41597-026-06969-y

Nyckelord: händelsekameror, fotgängarsäkerhet, självkörande fordon, neuromorfisk vision, trafikdataset