Преодоление разрыва по задержке с помощью фреймворка для непрерывной оценки потока в событийном восприятии

Почему важно более быстрое зрение роботов

Представьте себе автономный автомобиль, который замечает внезапное препятствие, или робота, пытающегося отразить летящую со скоростью шарик для пинг-понга. В таких долях секунды быстро увидеть не менее важно, чем увидеть ясно. В этой статье рассматривается новый способ оценивать, насколько быстры и надёжны современные «событийные камеры» при слежении за движущимися объектами, и показано, что обычные лабораторные тесты могут сильно переоценивать их реальные возможности.

От снимков к потоку

Большинство современных систем компьютерного зрения относятся к миру как к слайд-шоу. Обычные камеры снимают с фиксированным интервалом, и алгоритмы обрабатывают кадры по одному. Даже когда инженеры используют нейроморфные, то есть событийные, камеры, которые фиксируют изменения яркости с микросекундным разрешением, они часто сводят этот богатый непрерывный поток обратно в грубые кадры. Такой кадроцентричный подход скрывает критическую проблему: задержку. Каждый раз, когда система ждёт следующий кадр, а затем обрабатывает его, уходят драгоценные миллисекунды. В задачах с высокой скоростью, таких как автономное вождение или взаимодействие человека и робота, эта задержка означает, что система всегда реагирует на недавнее прошлое, а не на настоящее.

Новый способ оценить зрение в реальном времени

Чтобы сократить разрыв между лабораторными показателями и требованиями реального мира, авторы предложили фреймворк под названием STream-based lAtency-awaRe Evaluation, или STARE. Вместо принудительного преобразования событийных данных в фиксированные кадры STARE подаёт модели самые свежие события сразу после того, как модель завершила свой предыдущий прогноз. Такая «непрерывная выборка» держит модель загруженной и повышает частоту выдачи результатов до предела аппаратного обеспечения. В то же время STARE оценивает точность по-новому: каждой эталонной (ground-truth) позиции движущегося объекта сопоставляется наиболее свежий прогноз, доступный в тот момент. Если модель медлительна, одно и то же устаревшее предсказание используется для многих временных точек, и кажущаяся точность падает. Таким образом стоимость задержки напрямую включается в итоговый балл.

Построение высокоскоростной тестовой платформы

Измерение таких тонких временных характеристик требует данных с аналогичной детализацией, которых не хватает в существующих наборах данных для событийных камер. Обычно они фиксируют положение объекта лишь несколько десятков раз в секунду. Поэтому авторы создали ESOT500 — новый набор данных, где объекты аннотированы 500 раз в секунду, как на камерах низкого, так и высокого разрешения, в разнообразных сценах: вращающиеся вентиляторы, летающие птицы, движущиеся автомобили. При такой плотности эталонные треки достаточно точно следуют за быстрыми сложными движениями, избегая «временного алиасинга», когда редкая выборка делает извилистый быстрый путь обманчиво простым. ESOT500 служит стресс-тестом для любых методов, претендующих на обработку быстрых и непредсказуемых динамик.

Что действительно происходит, когда задержка имеет значение

Имея STARE и ESOT500, авторы переоценили ряд современных трекеров объектов. В традиционных кадроориентированных тестах более тяжёлые и сложные модели часто выглядят лучше. Однако по STARE многие из этих высокоточных, но медленных систем теряют более половины своей эффективной точности, когда учитывается задержка. Более лёгкие, быстрые модели внезапно выходят в лидеры, потому что они дают более частые и актуальные предсказания. Команда подтвердила это экспериментом с роботом в пинг-понге: робот использовал событийную камеру и трекер, чтобы отбивать входящие шарики. Умеренное ускорение восприятия почти удвоило долю успешных ударов, тогда как медленная, но в офлайне сильная модель выступила плохо. Другими словами, в реальном времени скорость и актуальность информации могут перевешивать чистую точность.

Более разумное использование непрерывных потоков

Помимо оценки, авторы исследуют, как проектировать лучшие системы для непрерывного зрения. Одна стратегия, «асинхронное слежение», сочетает медленную, но аккуратную базовую модель с меньшим, подвижным компаньоном, который обновляет позицию объекта между полными проходами базовой модели. Такая двойная схема переиспользует общие признаки и использует постоянный поток событий, повышая частоту выхода почти на 80% и улучшая оценку с учётом задержки примерно на 60%. Вторая стратегия, «контекстно-зависимая выборка», отслеживает, сколько событий происходит вокруг отслеживаемого объекта. Когда в сцене тихо и мало изменений, трекер временно переиспользует своё последнее хорошее приближение вместо повторных вычислений, сокращая напрасные затраты. Он снова активируется при возрастании движения, что особенно помогает при низкой активности или разреженных событиях.

Сокращение разрыва между лабораторией и жизнью

Для неспециалистов ключевое сообщение простое: в быстро меняющихся ситуациях то, как быстро система зрения может обновлять своё представление о мире, имеет не меньшее значение, чем точность каждого отдельного предсказания. Рассматривая вывод камеры как настоящий поток и включая задержку прямо в оценку, STARE выявляет слабые места, которые пропускают обычные тесты, и выделяет решения, работающие под давлением. Вместе с набором данных ESOT500 и предложенными стратегиями слежения эта работа прокладывает путь к будущим роботам, транспортным средствам и интерактивным машинам, которые видят не только хорошо, но и вовремя.

Цитирование: Chu, J., Zhang, R., Yang, C. et al. Bridging the latency gap with a continuous stream evaluation framework in event-driven perception. Nat Commun 17, 2441 (2026). https://doi.org/10.1038/s41467-026-70240-6

Ключевые слова: событийные камеры, трекер в реальном времени, роботическое зрение, оценка с учётом задержки, нюроморфное восприятие