Набор данных для многopersпективного анализа дорожного видео

Почему важно иметь много «глаз» на улице

Кто пытался перейти оживлённую улицу, знает: машины, велосипеды и люди двигаются предсказуемо лишь отчасти. Города все чаще обращаются к камерам и искусственному интеллекту, чтобы сделать такие пространства безопаснее, но большинство систем по‑прежнему смотрят на дорогу под одним углом. В этой статье представлен новый публичный видеонабор данных, который одновременно фиксирует один и тот же пешеходный переход с трёх точек зрения, предоставляя исследователям богатый исходный материал для создания более безопасных и умных транспортных систем.

Один переход, три способа взгляда

Набор данных сосредоточен на одной, повседневной сцене: пешеходном переходе на кампусе Университета Мурсии в Испании. Вместо одной камеры авторы записывали каждое событие тремя устройствами одновременно: камерой, установленной на движущейся машине, приближающейся к переходу; стационарной камерой на приподнятом опорном столбе у обочины; и камерой на небольшом дроне, зависавшем над сценой. В совокупности эти виды фиксируют одних и тех же людей и транспортные средства с уровня земли, с боковой позиции и сверху, что близко отражает то, как разные наблюдатели могли бы увидеть один и тот же момент в реальности.

Фиксация обычных переходов и редких инцидентов

Чтобы данные были полезны и для повседневного мониторинга, и для анализа аварийных ситуаций, команда смоделировала два типа событий. В некоторых записях пешеходы просто переходят, а машина останавливается и ждёт, что соответствует обычному поведению на дороге. В других актёр инсценирует падение прямо на переходе, повторяя траектории движения, призванные напоминать реальную аварию. Машина всегда следует по одному и тому же маршруту, а пешеходы воспроизводят одни и те же базовые движения, чтобы исследователи могли сравнивать, как каждый сценарий выглядит с разных камер и изучать, чем необычные события отличаются от рутинных.

От необработанных записей к мощному исследовательскому ресурсу

Ключевая особенность набора данных — видеозаписи хранятся в сыром, неотредактированном виде. Единственная обработка — добавление точных временных меток и простой визуальный сигнал: в начале каждого перехода один пешеход коротко поднимает руку. Это облегчает синхронизацию кадров со всех трёх камер, чтобы один и тот же момент времени можно было изучать под разными углами. В набор входят 18 видеофайлов, покрывающих три конфигурации камер и два условия перехода (с падением и без) по трем различным пространственным расположениям машины, придорожного блока и дрона. Исследователям также предоставляются дополнительные изображения, описывающие точные оптические характеристики объектива придорожной камеры, что помогает при необходимости корректировать искажения.

Проверка, насколько машины понимают сцену

Чтобы убедиться в прикладной ценности данных, авторы провели стандартные тесты по обнаружению объектов, сравнив свои записи с известными коллекциями дорожного видео, такими как KITTI, VisDrone и UA-DETRAC. Они применили современные модели детекции для локализации людей в видео и измерили, насколько точно предсказанные контуры совпадают с проверенными человеком очертаниями. В среднем новый набор показал более высокие результаты как по точности обнаружений, так и по согласованию рамок. Анализ частоты, с которой каждый человек был видим в одной, двух или всех трёх видах, также продемонстрировал, что перекрывающееся покрытие камерами существенно уменьшает «слепые зоны», когда люди скрываются за автомобилями или уличными препятствиями.

Что это означает для будущих улиц

Для неспециалистов основная мысль такова: этот набор данных даёт значительно полнее представление о том, что происходит на пешеходном переходе, чем предыдущие коллекции. Синхронизированное сочетание видеозаписей с машины, с придорожной установки и с воздуха обеспечивает реалистичную испытательную площадку для инженеров и учёных, которые разрабатывают системы, способные надёжнее отслеживать людей, быстрее выявлять аварии и справляться с реальными усложнениями вроде препятствий и меняющихся точек обзора. В долгосрочной перспективе такие ресурсы могут способствовать более безопасным переходам, более чувствительной работе светофоров и умным городским сервисам, которые лучше защищают всех участников дорожного движения.

Цитирование: Sanchez-Iborra, R., Kouvakis, V., Trevlakis, S.E. et al. Dataset for multi-perspective traffic video analysis. Sci Data 13, 543 (2026). https://doi.org/10.1038/s41597-026-06907-y

Ключевые слова: наблюдение за движением, многовидовое видео, безопасность пешеходов, умные города, набор данных для компьютерного зрения