ClarityTrack для многократного отслеживания объектов через иерархическую ассоциацию и сопоставление затрат, специфичное для окружения

Почему сложно следить за множеством движущихся объектов

От автономных автомобилей до камер безопасности и спортивных трансляций — современные системы должны одновременно отслеживать много людей или объектов. Но реальность сложна: люди пересекаются, скрываются за другими или размазываются при движении. В этой статье представлен ClarityTrack — новый подход, который позволяет надёжнее держать «цифровые глаза» на множестве движущихся целей, даже на переполненных улицах или в быстрых танцевальных сценах.

Как компьютеры обычно отслеживают объекты

Большинство систем сначала обнаруживают объекты на каждом кадре видео, а затем пытаются связать эти обнаружения во времени, формируя плавные траектории. Они опираются на два основных подсказки: движение (куда объект, по прогнозу, сдвинется дальше) и внешний вид (как он выглядит, через визуальные отпечатки, извлекаемые глубокими сетями). Существующие методы обычно смешивают эти два сигнала по фиксированной схеме, например всегда задавая одно и то же соотношение веса движения и внешнего вида. Это работает в простых сценах, но даёт сбои при высокой плотности людей, непредсказуемом движении или при изменении внешнего вида из‑за размытия камеры.

Почему одна фиксированная схема недостаточна

Представьте переполненный пешеходный переход: позиции перекрываются, поэтому расстояние по движению становится ненадёжным, тогда как одежда и рост всё ещё помогают различать людей. А теперь представьте танцевальное выступление: все в похожих костюмах и двигаются хаотично, поэтому и признаки внешнего вида, и сигналы движения нестабильны. Авторы показывают, что традиционные трекеры игнорируют такое разнообразие, обрабатывая каждый кадр как будто одно и то же смешение движения и внешнего вида подойдёт всем ситуациям. Часто они просто складывают два источника доказательств, не проверяя, согласуются ли они, что может тихо приводить к перепутыванию идентичностей и разрывам траекторий.

Трёхэтапная стратегия для более ясного отслеживания

ClarityTrack решает эти проблемы правилозаданной архитектурой из трёх последовательных модулей. Во-первых, Balanced Cascade Association разделяет обнаружения на группы с высокой и низкой уверенностью. Для обнаружений с высокой уверенностью он уравновешенно комбинирует движение и внешний вид, используя преимущества обоих сигналов. Для низкоуверенных обнаружений он переходит к осторожному сопоставлению, основанному только на движении, чтобы не вводиться в заблуждение размытыми или закрытыми изображениями. Во‑вторых, Condition-Aware Matching with Weights учитывает, что разные видеосценарии ведут себя по-разному. Система заранее обучает отдельные наборы параметров для сбалансированных сцен, очень переполненных ситуаций и нестабильного, сильно нелинейного движения. Для каждой потенциальной пары трека и нового обнаружения она в реальном времени решает, оставаться ли при нейтральном соотношении 50:50 или переключиться на смесь, настроенную под конкретную среду, которая отдаёт приоритет либо движению, либо внешнему виду — но только когда выполнены чёткие условия качества.

Проверка, рассказывают ли движение и внешний вид одну и ту же историю

Третий модуль, Motion-Appearance Consistency Check, выступает в роли арбитра между движением и внешним видом. Для каждой возможной связи он оценивает, выглядят ли предсказанная позиция и визуальное сходство оба хорошо, только один из них хорош, или ни один. Когда оба сигнала согласуются, он немного понижает стоимость сопоставления, чтобы поощрить эту связь. Когда они противоречат друг другу, он увеличивает стоимость, чтобы оттолкнуть вероятную ошибку. Когда движение даёт сбой, но внешний вид очень ясен, модуль мягко поддерживает воссоединение объекта, который появился снова после окклюзии или резкого перемещения. Эти корректировки настраиваются по‑разному для каждого типа окружения, так что система остаётся осторожной в плотных толпах, но более склонной воссоединять танцоров в хаотичных движениях.

Насколько эффективно новый подход

Авторы протестировали ClarityTrack на трёх широко используемых бенчмарках: MOT17, представляющем типичные уличные сцены; MOT20, отражающем крайне переполненные тротуары; и DanceTrack, заполненном группами танцоров, выполняющих сложные элементы. На этих наборах данных ClarityTrack сравнялся или превзошёл лучшие существующие онлайн‑трекеры по ключевым метрикам качества отслеживания, особенно по тем, что оценивают сохранность идентичностей во времени. Важно, что большинство улучшений пришло от более умной ассоциации данных, а не от более тяжёлых нейросетей, и система при этом сохраняет скорость работы на уровне реального времени или выше для типичных сцен.

Что это значит для повседневных технологий

Для непрофессионалов главный вывод таков: ClarityTrack демонстрирует, как простые, прозрачные правила, аккуратно настроенные под тип окружения, могут соперничать с более непрозрачными универсальными подходами или превосходить их. Разделяя обнаружения по уровню уверенности, адаптируясь к типу сцены и явно проверяя согласованность движения и внешнего вида, метод надёжнее отслеживает, кто есть кто — от уличных толп до танцполов. Такое окружение‑чувствительное отслеживание может сделать системы на базе камер безопаснее и более внушающими доверие в беспорядочном, постоянно меняющемся реальном мире.

Цитирование: Lee, SE., Yang, HS., Jung, SH. et al. ClarityTrack for multi object tracking via hierarchical association and environment specific cost matching. Sci Rep 16, 10581 (2026). https://doi.org/10.1038/s41598-026-45425-0

Ключевые слова: многократное отслеживание объектов, компьютерное зрение, видеонаблюдение, анализ толпы, автономное вождение