Sentinel dla śledzenia wielu obiektów z uwzględnieniem niepewności

Śledzenie wielu rzeczy naraz

Od samochodów autonomicznych i robotów dostawczych po inteligentne kamery ochrony i transmisje sportowe — współczesne systemy coraz częściej muszą obserwować wielu ludzi lub obiektów jednocześnie. Jednak rzeczywistość jest nieuporządkowana: tłumy zasłaniają widok, kamery rozmazują obraz, a detektory nie są pewne, czy słaby kształt to człowiek, czy tylko tło. W artykule przedstawiono „Sentinel” — nowe podejście do bardziej niezawodnego śledzenia wielu poruszających się obiektów poprzez jawne modelowanie niepewności — tego, jak pewny lub niepewny jest system co do obserwowanych informacji.

Dlaczego śledzenie w świecie rzeczywistym jest trudne

Systemy śledzenia wielu obiektów zwykle działają w dwóch etapach. Najpierw wykrywają obiekty w każdej klatce wideo. Potem łączą te wykrycia w czasie, tworząc ciągłe ścieżki, czyli trajektorie dla poszczególnych obiektów. Istniejące systemy często polegają jedynie na najbardziej pewnych wykryciach, odrzucając słabsze, aby uniknąć fałszywych alarmów. To poprawia precyzję, ale pogarsza czułość: przy rozmyciu ruchu lub częściowym zasłonięciu wiele prawdziwych osób jest słabo widocznych i zostaje odrzuconych. Równocześnie tradycyjne trackery często usuwają trajektorię po ustalonej liczbie brakujących klatek. Ta reguła wiekowa zawodzi w zatłoczonych scenach, gdzie ktoś może zniknąć za innymi na chwilę i potem się ponownie pojawić, co powoduje pocięcie śladu i przypisanie tożsamości na nowo.

Tracker, który wie, kiedy jest pewny, a kiedy nie

Sentinel rozwiązuje oba problemy, traktując każdą trajektorię jako posiadającą własny, ewoluujący poziom pewności. Część systemu nazwana Confidence Aware Association analizuje, jak często ślad był dopasowywany, jak często ostatnio zawodził oraz jak silne były jego ostatnie detekcje. Na podstawie tej historii klasyfikuje każdy ślad jako pewny, niepewny lub zagrożony. Dla śladów pewnych, których ruch jest dobrze przewidywalny, Sentinel mocniej opiera się na przewidywanym położeniu i mniej na wyglądzie wizualnym. To pomaga unikać mylenia osób podobnych wizualnie, ale stojących w różnych miejscach. Dla śladów zagrożonych, które mogą dopiero wyjść z zasłonięcia lub mają niestabilne przewidywania, system działa odwrotnie: poszerza obszar poszukiwań i bardziej polega na wyglądzie osoby niż na prostym modelu ruchu.

Drugie życie dla zanikających śladów

Drugi komponent, zwany Survival Boosting Mechanism, wkracza, gdy ślad grozi zniknięciem. Zamiast natychmiast usuwać ślad po ustalonej liczbie brakujących klatek, Sentinel utrzymuje „wynik przetrwania”, który wzrasta, gdy ślad pozostaje niedopasowany. W miarę wzrostu ryzyka system aktywnie przeszukuje wykrycia o niskiej pewności — sygnały, co do których detektor nie jest pewny — aby znaleźć wiarygodnych kandydatów, którzy mogą być tą samą osobą. Delikatnie dostosowuje, ile ufa położeniu, wyglądowi i ograniczeniom ruchu fizycznego, stopniowo dopuszczając większe błędy pozycyjne przy jednoczesnym wymaganiu spójnego wyglądu i realistycznego ruchu. Gdy słabe, lecz prawdopodobne wykrycie przejdzie te testy, Sentinel tymczasowo podnosi jego wewnętrzną pewność, aby mogło konkurować z silniejszymi wykryciami w głównym etapie dopasowywania, dając oryginalnemu śladowi szansę na kontynuację zamiast zastąpienia.

Testy Sentinela

Autorzy przetestowali Sentinela na trzech wymagających zbiorach benchmarkowych. MOT17 obejmuje różnorodne sceny uliczne z pieszymi, MOT20 koncentruje się na ekstremalnie zatłoczonych sytuacjach z silnym zasłonięciem, a DanceTrack śledzi tancerzy poruszających się w nieliniowy, nieprzewidywalny sposób, często w podobnych strojach. Na tych zbiorach Sentinel konsekwentnie poprawiał miary kładące nacisk na zachowanie tożsamości osób w czasie, takie jak Identification F1-score i Higher Order Tracking Accuracy. Zredukował też liczbę zamian tożsamości i fragmentów śladów w porównaniu z dobrze znanymi trackerami, które traktują wszystkie wykrycia jednakowo lub biernie kończą ślady. Choć Sentinel wprowadza dodatkowe obliczenia i może generować nieco więcej fałszywych pozytywów, gdy opiera się na słabych detekcjach, pozostaje na tyle szybki, by w większości scenariuszy nadawać się do użycia w czasie rzeczywistym.

Co to oznacza dla codziennej technologii

Mówiąc prosto, Sentinel uczyni systemy widzenia maszynowego bardziej cierpliwymi i rozważnymi. Zamiast odrzucać ludzi, gdy są trudni do zobaczenia, czy bezrefleksyjnie ufać każdemu rozmytemu śladowi, nieustannie pyta, jak pewny jest każdego śladu, i odpowiednio dostosowuje zachowanie. Ta strategia przynosi korzyści w najbardziej wymagających warunkach: zatłoczone chodniki, gęste tłumy czy szybko poruszający się wykonawcy. Praca sugeruje, że przyszłe systemy śledzenia — w samochodach, dronach czy kamerach — będą bardziej niezawodne, jeśli będą traktować niepewność jako sygnał pierwszorzędny, używany do decydowania, kiedy być ostrożnym, kiedy intensywniej szukać, a kiedy dać prawie zagubionemu obiektowi jeszcze jedną szansę, by pozostać w polu widzenia.

Cytowanie: Yang, HS., Park, SW., Sim, CB. et al. Sentinel for confidence-aware multi-object tracking. Sci Rep 16, 13571 (2026). https://doi.org/10.1038/s41598-026-43938-2

Słowa kluczowe: śledzenie wielu obiektów, widzenie komputerowe, detekcja obiektów, radzenie sobie z zaciemnieniem, ciągłość trajektorii