Sentinel для многомерного слежения с учётом уверенности

Следить за множеством объектов одновременно

От автономных автомобилей и доставляющих роботов до интеллектуальных камер безопасности и трансляций спортивных событий — современным системам всё чаще требуется одновременно отслеживать множество людей или объектов. Но реальность сложна: толпы преграждают обзор, камера даёт размытость, а детекторы не всегда уверены, является ли едва заметная форма человеком или просто фоном. В этой работе представлен «Sentinel» — новый подход к более надёжному многократному отслеживанию движущихся объектов путём явного учёта неопределённости — того, насколько система уверена или не уверена в увиденном.

Почему отслеживание в реальном мире сложно

Системы многократного отслеживания обычно работают в два этапа. Сначала они обнаруживают объекты в каждом кадре видео. Затем соединяют эти обнаружения во времени, формируя непрерывные пути, или траектории, для каждого индивида. Существующие подходы склонны опираться лишь на наиболее уверенные обнаружения, отбрасывая слабые, чтобы избежать ложных срабатываний. Это улучшает точность, но снижает полноту: при движении с размытостью или при частичной непроходимости многие реальные люди видны лишь слабо и теряются. Одновременно традиционные трекеры часто удаляют траекторию после того, как она отсутствует в течение фиксированного числа кадров. Такое правило по возрасту не работает в плотных толпах, где кто-то может на какое-то время скрыться за другими и затем появиться снова, из-за чего трек рассекается на куски и его личность переадресуется.

Трекер, который понимает, когда он уверен, а когда нет

Sentinel решает обе проблемы, считая, что каждая траектория обладает собственным изменяющимся уровнем уверенности. Одна часть системы, называемая Confidence Aware Association (ассоциация с учётом уверенности), учитывает, как часто трек успешно сопоставлялся, как часто он недавно терпел неудачу и насколько сильны были его последние обнаружения. На основе этой истории система классифицирует каждый трек как уверенный, неопределённый или находящийся в риске. Для уверенных треков, чьё движение хорошо предсказуемо, Sentinel опирается прежде всего на ожидаемое расположение человека и меньше учитывает внешний вид. Это помогает не перепутать людей, которые похожи внешне, но находятся в разных местах. Для рискованных треков, которые могут только что выйти из-под окклюзии или иметь ненадёжные предсказания, система поступает наоборот: она расширяет область поиска и сильнее полагается на видовые признаки человека, а не на простую модель движения.

Давать исчезающим трекам второй шанс

Второй компонент, называемый Survival Boosting Mechanism (механизм повышения выживаемости), вступает в действие, когда трек оказывается на грани исчезновения. Вместо немедленного удаления траектории после фиксированного числа пропущенных кадров, Sentinel поддерживает «оценку выживаемости», которая увеличивается по мере того, как трек остаётся не сопоставленным. По мере роста риска система активно ищет среди слабых обнаружений — сигналов, в которых детектор не уверен, — правдоподобные кандидаты, которые могут быть тем же человеком. Она аккуратно перенастраивает степень доверия к позиции, внешнему виду и физическим ограничениям движения, постепенно допуская большую позиционную ошибку при одновременном требовании согласованности внешнего вида и реалистичного движения. Когда слабое, но правдоподобное обнаружение проходит эти проверки, Sentinel временно повышает его внутреннюю уверенность, чтобы оно могло соперничать с более сильными обнаружениями в основном шаге сопоставления, давая исходному треку шанс продолжиться вместо того, чтобы быть заменённым.

Проверка Sentinel на практике

Авторы протестировали Sentinel на трёх требовательных наборах эталонных данных. MOT17 охватывает разнообразные уличные сцены с пешеходами, MOT20 сосредоточен на экстремально плотных ситуациях с сильной окклюзией, а DanceTrack следует за танцорами, которые движутся нелинейно и непредсказуемо, часто в похожих костюмах. На этих наборах Sentinel последовательно улучшал метрики, которые подчёркивают сохранение идентичности каждого человека во времени, такие как Identification F1-score и Higher Order Tracking Accuracy. Также он сократил число смен идентичностей и фрагментов треков по сравнению с хорошо известными трекерами, которые либо не делают различий между обнаружениями, либо пассивно завершают треки. Хотя Sentinel вводит некоторые дополнительные вычисления и может породить немного больше ложных срабатываний, когда опирается на слабые детекции, он остаётся достаточно быстрым для использования в реальном времени в большинстве сценариев.

Что это значит для повседневных технологий

Проще говоря, Sentinel делает системы машинного зрения более терпеливыми и вдумчивыми. Вместо того чтобы удалять людей, как только их трудно увидеть, или слепо доверять каждому размывшемуся намёку, он постоянно оценивает, насколько он уверен в каждом треке, и соответственно корректирует поведение. Эта стратегия окупается в самых сложных условиях: на оживлённых тротуарах, в плотных толпах или при быстрых выступлениях. Работа показывает, что будущие системы отслеживания — будь то в автомобилях, беспилотниках или камерах — будут надёжнее, если будут воспринимать неопределённость как первоклассный сигнал и использовать её, чтобы решать, когда действовать осторожно, когда искать усерднее и когда дать почти утерянному объекту ещё один шанс остаться в поле зрения.

Цитирование: Yang, HS., Park, SW., Sim, CB. et al. Sentinel for confidence-aware multi-object tracking. Sci Rep 16, 13571 (2026). https://doi.org/10.1038/s41598-026-43938-2

Ключевые слова: многокамерное отслеживание объектов, компьютерное зрение, обнаружение объектов, обработка окклюзий, непрерывность траектории