DVS-PedX: Sentetik ve Gerçek Olay Tabanlı Yaya Veri Kümesi

Neden Yolda Daha Hızlı Gözler Önemli?

Bir sürücü olarak yaya geçidine yaklaştığınızda, bir salise bile zamanında durup durmamanızı belirleyebilir. Günümüz sürücü‑yardım sistemleri genellikle saniyede birçok kez tam görüntüler yakalayan sıradan video kameralarına dayanır. Ancak daha yeni bir tür “olay kamerası”, insan retinasına daha çok benzer; her pikseldeki parlaklık değişimine tepki verir. Bu makale, bu tür kameraların —ve beyin esinli algoritmaların— yağmur, sis veya gece gibi zorlu koşullarda insanların yola çıkmak üzere olduğunu fark etmeyi öğrenmesine yardımcı olmak için oluşturulmuş büyük bir veri kümesi olan DVS‑PedX’i tanıtıyor.

Geleneksel Videodan Yeni Bir Görüş Türüne

Geleneksel kameralar, hareket olsun veya olmasın belirli aralıklarla tam anlık görüntüler alır. Oysa olay kameraları, sahnedeki bir nokta daha parlak veya daha karanlık hale geldiğinde küçük bilgi patlamaları bildirir. Her patlama konumunu, zamanını ve parlaklığın artıp azaldığını taşır; zamanlama mikrosaniye düzeyinde ölçülür. Bu özellikleri sayesinde hareket ve kenarları doğal olarak algılamakta ve büyük ölçüde sabit arka planları görmezden gelmekte iyidirler. Yayaları fark etme ve niyetlerini öngörme gibi görevlerde, bu “sadece değişenlere bakma” yaklaşımı, geleneksel videodan daha verimli, daha hızlı ve parlak ışık, gölgeler veya farlar altında daha sağlam olabilir.

Yaya Geçitlerinden Oluşan Sanal Bir Şehir Kurmak

Bilim insanlarına kontrollü veri sağlamak için yazarlar önce CARLA sürüş simülatörünü kullanarak yüzlerce sanal sokak sahnesi yarattı. Otonom bir araç bir yaya geçidine yaklaşırken dijital bir yaya yola adım atabilir veya atmayabilir. Aydınlatma (gün, alacakaranlık, gece) ve hava koşulları (açık, yağmur, sis), her koşu için karıştırılır; aynı şekilde yaya görünümleri ve herhangi bir geçişin kesin zamanlaması da değişir. Sürücünün görüş açısından iki sanal sensör—bir standart renk kamerası ve bir simüle edilmiş olay kamerası—görüntü alır. Sistem standart videoyu saniyede 30 karede kaydeder ve paralel olarak olay akışını her 33 milisaniyede bir “olay karelerine” sıkıştırarak her video karesiyle hizalar. Her kare basitçe “geçiyor” veya “geçmiyor” olarak etiketlenir; bu da yaya farkında sistemleri eğitmeyi ve test etmeyi doğrudan hale getirir.

Gerçek Araç Kameralarını Olay Akışlarına Dönüştürmek

Sadece sanal sahneler yeterli değildir: gerçek sokaklar daha dağınıktır. Bunu yakalamak için ekip, dikkatle açıklanmış yaya davranışlarını içeren kısa kentsel sürüş klipleriyle bilinen JAAD adlı yaygın bir dashcam koleksiyonundan ikinci bir bileşen oluşturdu. Tüm 346 klibi, bir olay kamerasının her kareye nasıl yanıt vereceğini simüle eden bir dönüşüm aracından geçirdiler. Bu araç her pikseldeki parlaklık değişimlerini modelleyip sürekli harekete yaklaşmak için kareler arasını bile enterpolasyonla doldurur. Sonuç, insan ve araç hareketlerinin keskin hareket kenarlarıyla ve büyük oranda sabit arka planın yok olduğu gerçek yolların “sentetik olay görünümü”dür. Yazarlar, bu dönüştürülmüş akışları üretimde kullanılan fiziksel olay kameralarından elde edilen verilerle karşılaştırdı ve sentetik olayların genel etkinlik, yapı ve zamanlama açısından gerçek olanlarla uyumlu olduğunu gösterdi.

Veri Kümesi Neleri İçerir ve Nasıl Performans Gösterir

DVS‑PedX, CARLA’dan 198 simüle edilmiş dizi ile JAAD’dan dönüştürülmüş 346 gerçek dünyadan klibi birleştirir. Her dizi eşleştirilmiş renk görüntüleri ve olay kareleri, ince zamanlama analizi için ham olay dosyaları ve kare düzeyinde geçiş etiketleri sunar. Geçişler görece nadirdir; bu, gerçek trafiği yansıtarak öğrenme problemini gerçekçi ve zorlayıcı kılar. Veri kümesinin faydalı ama basit olmadığını göstermek için yazarlar, bilgiyi biyolojik nöronlara benzeyen ayrık darbeler halinde işleyen spiking sinir ağlarını eğitti. Bu modeller sentetik dizilerde iyi performans gösterdi ancak doğrudan dönüştürülmüş gerçek verilerde doğruluk düştü; eğitimde biraz gerçek veri karıştırıldığında performans yeniden iyileşti. Bu “simülasyon‑gerçeklik farkı”, veri kümesinin alan uyarlaması ve çok modlu füzyon araştırmalarını teşvik edebileceğini doğrular.

Daha Akıllı Algılama ile Daha Güvenli Sokaklar

Basitçe söylemek gerekirse, DVS‑PedX insanların yola çıkıp çıkmayabileceği anların hem sıradan hem de olay tabanlı “gözlerle” dikkatle derlenmiş bir kütüphanesidir. Temiz simülasyonlarla sert gerçek dashcam görüntülerini birleştirerek ve açık etiketler ile açık kaynak araçlar sunarak, araştırmacılara zor koşullar altında yayaları tespit etme ve niyetlerini öngörme yollarını keşfetmek için ortak bir test zemini sağlar. Umarım bu veri kümesinden öğrenen gelecekteki sürücü‑yardım ve robotik sistemler daha hızlı ve daha güvenilir tepki vererek yollarımızdaki makineleri daha güvenli ve daha dikkatli hale getirmeye bir adım yaklaştırır.

Atıf: Sakhai, M., Sithu, K., Oke, M.K.S. et al. DVS-PedX: Synthetic-and-Real Event-Based Pedestrian Dataset. Sci Data 13, 614 (2026). https://doi.org/10.1038/s41597-026-06969-y

Anahtar kelimeler: olay kameraları, yaya güvenliği, otonom sürüş, nöromorfik görme, trafik veri kümeleri