Hiyerarşik ilişkilendirme ve ortama özgü maliyet eşleştirme ile çoklu nesne takibi için ClarityTrack

Birden çok hareketli şeyi takip etmenin zorluğu

Otonom araçlardan güvenlik kameralarına ve spor yayınlarına kadar modern kameralardan aynı anda birçok kişi veya nesneyi izlemeleri beklenir. Ancak gerçek dünya düzensizdir: insanlar yolları kesişir, başkalarının arkasına kaybolur veya hareket ederken bulanıklaşır. Bu makale, kalabalık sokaklarda veya hızlı dans sahnelerinde bile dijital “gözlerin” birden fazla hareketli hedefi daha güvenilir şekilde izlemesini sağlayan yeni bir yöntem olan ClarityTrack’i tanıtıyor.

Bilgisayarlar genellikle nesneleri nasıl takip eder

Çoğu takip sistemi önce her video karesinde nesneleri algılar, sonra bu algıları zaman içinde düzgün yollar oluşturmak için birbirine bağlamaya çalışır. İki ana ipucuna dayanırlar: hareket (bir şeyin bir sonraki adımda nereye gideceğinin tahmini) ve görünüm (derin ağlar tarafından öğrenilen görsel parmak izleriyle nasıl göründüğü). Mevcut yöntemler genellikle bu iki ipucunu sabit bir reçete ile karıştırır; örneğin her zaman harekete ve görünüme aynı oranda ağırlık verirler. Bu basit sahnelerde işe yarar, ancak kalabalık yoğunlaştığında, hareket öngörülemez hale geldiğinde veya kamera bulanıklığı kişilerin görünümünü değiştirdiğinde başarısız olur.

Neden tek bir sabit reçete yetmez

Yoğun bir yaya geçidini izlediğinizi hayal edin: konumlar örtüşür, bu yüzden harekete dayalı uzaklık güvenilmez hale gelir, ancak giysi ve boy hala insanları ayırabilir. Şimdi bir dans performansını düşünün: herkes benzer kostümler giymiş ve düzensiz hareket ediyor, dolayısıyla hem görünüm hem hareket ipuçları istikrarsızdır. Makale, geleneksel takipçilerin bu çeşitliliği göz ardı ettiğini, her kareye aynı karışımın işe yarayacağını varsaydığını gösteriyor. Ayrıca genellikle iki kanıt parçasını gerçekten uyup uymadığını kontrol etmeden topladıkları için kimlik karışmalarına ve kopmuş izlere sessizce yol açabiliyorlar.

Daha net takip için üç adımlı strateji

ClarityTrack, sıralı çalışan üç modülden oluşan kural tabanlı bir tasarım ile bu sorunları ele alır. İlk olarak, Balanced Cascade Association algıları yüksek ve düşük güven gruplarına ayırır. Yüksek güveni olan algılarda hareket ve görünümü dengeli bir şekilde harmanlayarak her ikisinden de faydalanır. Düşük güvenlikte olanlarda ise bulanık veya örtük görüntüler tarafından yanıltılmayı önlemek için temkinli, yalnızca harekete dayalı bir eşlemeye geri döner. İkinci olarak, Ağırlıklı Koşula Duyarlı Eşleştirme farklı video ortamlarının farklı davrandığını kabul eder. Dengeli sahneler, çok kalabalık sahneler ve düzensiz, yüksek derecede doğrusal olmayan hareket gösteren sahneler için ayrı parametre setlerini önceden öğrenir. Takip edilen bir nesne ile yeni bir algı arasındaki her potansiyel eşleşme için, nötr 50:50 karışımı koruyup korumamaya veya hareketi ya da görünümü öne çıkaran ortama uyarlanmış bir karışıma geçmeye, ancak yalnızca belirgin kalite koşulları sağlandığında karar verir.

Hareket ve görünüm aynı hikâyeyi anlatıyor mu diye kontrol etme

Üçüncü modül olan Hareket-Görünüm Tutarlılık Kontrolü, hareket ile görünüm arasında bir hakem gibi davranır. Her olası eşleşme için, tahmin edilen pozisyonun ve görsel benzerliğin her ikisinin iyi görünüp görünmediğini, yalnızca birinin iyi olduğunu veya hiçbirinin iyi olmadığını inceler. İkisi de uyum gösterdiğinde, o bağlantıyı teşvik etmek için eşleme maliyetini hafifçe düşürür. Çelişkiye girdiklerinde, muhtemel bir hatayı caydırmak için maliyeti artırır. Hareket başarısız olduğunda ancak görünüm çok netse, örtülme veya ani hareket sonrasında yeniden ortaya çıkan bir nesnenin yeniden bağlanmasını nazikçe destekler. Bu ayarlamalar her ortam türü için farklı şekilde incelenir, böylece sistem çok kalabalık sahnelerde temkinli kalırken kaotik hareket içeren dansçuları yeniden bağlamaya daha istekli olur.

Yeni yaklaşımın performansı

Yazarlar ClarityTrack’i üç yaygın kullanılan kıyas setinde test ettiler: tipik sokak sahnelerini temsil eden MOT17; son derece kalabalık kaldırım sahnelerini temsil eden MOT20; ve karmaşık hareketler sergileyen dansçı gruplarıyla dolu DanceTrack. Bu veri setleri genelinde ClarityTrack, kimliklerin zaman içinde ne kadar iyi korunduğunu değerlendiren önemli ölçütlerde mevcut en iyi çevrimiçi takipçilerle eşleşti veya onları geride bıraktı. Önemli olarak, bu kazanımların çoğu daha ağır sinir ağlarından ziyade daha akıllı veri ilişkilendirmesinden geliyor ve sistem tipik sahneler için hala gerçek zamanlı hızlarda veya daha hızlı çalışıyor.

Günlük teknoloji için bunun anlamı

Uzman olmayanlar için ana çıkarım şudur: ClarityTrack, ortama dikkatle uyarlandığında basit, şeffaf kuralların daha kapalı kutu, tek tip çözümlerle yarışabileceğini veya onları iyileştirebileceğini gösteriyor. Yüksek ve düşük güvenlikli algıları ayırarak, sahne türüne uyum sağlayarak ve hareket ile görünümün gerçekten uyumlu olup olmadığını açıkça kontrol ederek, yöntem sokak kalabalıklarından dans pistlerine kadar kimliğin daha güvenilir takibini sağlıyor. Bu tür ortama duyarlı izleme, kamera tabanlı sistemleri dağınık ve sürekli değişen gerçek dünyada daha güvenli ve daha güvenilir hale getirebilir.

Atıf: Lee, SE., Yang, HS., Jung, SH. et al. ClarityTrack for multi object tracking via hierarchical association and environment specific cost matching. Sci Rep 16, 10581 (2026). https://doi.org/10.1038/s41598-026-45425-0

Anahtar kelimeler: çoklu nesne takibi, bilgisayarla görüş, video gözetimi, kalabalık analizi, özerk sürüş