Gözetimsiz görünür-kızılötesi kişi yeniden tanımlama için hibrit bellekle yumuşak pürüzsüz kontrastif öğrenme

Karanlıkta İnsanları Görmek

Modern şehirler kameralarla kaplı, ancak çoğu gece veya kötü hava koşullarında zorlanıyor. Görünür ışık yerine ısıyı algılayan kızılötesi kameralar bu boşluğu doldurabilir. Zorluk, bir kişinin gündüz kamerasında ve ısı algılayan kamerada çok farklı görünmesine rağmen bilgisayarların aynı kişiyi tanımayı öğrenmesini sağlamak ve bunu binlerce örnek görüntüyü insan uzmanların etiketlemesine gerek kalmadan yapmak. Bu çalışma, eşleştirmeyi otomatik olarak öğrenen yeni bir yol öneriyor ve kesintisiz, gizliliğe daha duyarlı güvenlik sistemlerini daha uygulanabilir hâle getiriyor.

İki Çok Farklı Dünyada İnsanları Eşleştirmek

Görünür-kızılötesi kişi yeniden tanımlama basit görünen bir soruyu sorar: normal bir renk kamerasıyla görülen bir kişiyi, bir kızılötesi kameradan alınan görüntülerde bulabilir miyiz veya tam tersi? Gerçekte, bu iki görüntü türü renk, kontrast ve detay açısından farklılık gösterir, bu yüzden bilgisayarın bir kişiyi içsel olarak tanımlama biçimi kamera türlerine göre ayrışabilir. Önceki sistemler genellikle aynı bireyi gösteren fotoğrafları insanlar tarafından dikkatle etiketlenmiş geniş veri setlerine dayanıyordu. Bu, özellikle kampüsler, havaalanları veya şehir blokları gibi geniş, çok kameralı ağlarda pahalı ve yavaştır.

İnsan Etiketleri Olmadan Öğrenme

Yazarlar, hiçbir gerçek kimlik etiketi sağlanmayan daha zor “gözetimsiz” versiyonuna odaklanıyor. Bunun yerine bilgisayar önce benzer görünen görüntüleri kümelere ayırır ve her kümeyi sanki bir kişiymiş gibi değerlendirir. Bu tahmini kimliklere sahte etiketler denir. Bu etiketler, modelin aynı kümeden görüntüleri içsel temsilinde birbirine yaklaştırdığı ve farklı kümeleri uzaklaştırdığı popüler bir eğitim stratejisi olan kontrastif öğrenmeyi destekler. Ancak kümeleme hiç de kusursuz değildir: benzer kıyafet giymiş kişiler karıştırılabilir ve görünür ile kızılötesi arasındaki boşluk daha fazla hataya yol açar. Bu yanlış tahminler eğitime dahil edildiğinde modeli yanıltabilir ve güvenilirliğini azaltabilir.

Gürültülü Tahminleri Yumuşatma

Bu hatalı sahte etiketleri dizginlemek için makale, öğrenci ve öğretmen adlı iki işbirlikçi sinir ağı kullanan “yumuşak pürüzsüz” kontrastif öğrenme şemasını tanıtıyor. Öğrenci eğitim sırasında olağan şekilde güncellenirken, öğretmen öğrencinin parametrelerinin yavaş hareket eden bir ortalaması olarak tutulur. Her görüntü için öğretmen, evet-hayır tarzı sert bir karara yerine, her kümeye ne kadar uyduğunu gösteren nazik, olasılık-benzeri bir değerlendirme üretir. Bu yumuşak değerlendirme sonra öğrencinin daha sert küme atamasıyla harmanlanır. Sonuç, belirsiz kararların etkisini azaltan ve daha güvenilir olanların etkisini artıran pürüzsüzleştirilmiş bir hedeftir. Etkili olarak model, her gürültülü güncellemede keskin tepki vermek yerine zaman içindeki kademeli eğilimlere güvenmeyi öğrenir.

Hem Farklılıkları Hem Ortak Noktaları Hatırlamak

İkinci ana fikir, sistemin şimdiye kadar öğrendiklerini depolayan bir “hibrit bellek”tir. Geleneksel yöntemler görünür ve kızılötesi görüntüler için ayrı ayrı bellekler tutar; bu farklılıkları kaydeder ama ikisi arasındaki paylaşılan özellikleri özümsemeyi zorlaştırır. Burada yazarlar bu iki belleği tutuyor ancak ayrıca üçüncü bir bellek oluşturuyor: en benzer görünür ve kızılötesi örnekleri karıştıran bir harmanlanmış bellek. Bu hibrit bellek bir buluşma yeri işlevi görür; ağın renk yerine genel vücut şekli veya giysi düzeni gibi aydınlanma koşulları ve sensörler arasında sabit kalan kişi özelliklerini keşfetmesini teşvik eder. Üçüncü bir bileşen olan uyarlanabilir-ağırlıklı bellek güncelleme, olağandışı ama güvenilir örneklere daha fazla, belirsiz olanlara ise daha az etki vererek belleğin daha keskin ve genelde daha kullanışlı temsillere doğru evrilmesini sağlar.

Yöntemi Teste Sokmak

Ekip, Hibrit Bellekle Yumuşak Pürüzsüz Kontrastif Öğrenme (SCLHM) adını verdikleri yaklaşımlarını, gerçekçi ortamlarda birden çok kamera tarafından toplanmış görünür ve kızılötesi görüntüler içeren üç yaygın kullanılan veri kümesinde değerlendiriyor. Sistemlerini tam insan etiketlemesi kullananlar da dahil olmak üzere pek çok mevcut yöntemle, kısmi etiket kullananlar ve hiç etiket kullanmayanlarla karşılaştırıyorlar. Genel olarak SCLHM, etiketsiz yaklaşımlar arasında en iyi performansa ulaşırken, birkaç durumda elle açıklama gerektiren yöntemlere yakın veya onlarla rekabet edebilecek düzeye geliyor. Ek deneyler, üç bileşenin—yumuşak pürüzsüzleştirme, hibrit bellek ve uyarlanabilir güncelleme—nihai doğruluğa anlamlı katkı sağladığını gösteriyor.

Gün Boyu Daha Net Görüş

Genel okuyucu için temel mesaj şudur: Yazarlar, bilgisayarların gündüz ve gece kameraları arasında insanları kimin olduğu etiketi olmadan kendi kendine tanımayı öğrenmesini sağlayan bir yöntem geliştirmiş. Güvenilmez tahminleri yumuşatarak ve her kamera türüne özgü olanla paylaşılanı dikkatle birleştirerek, çerçeveleri daha istikrarlı ve genelleştirilebilir desenler öğreniyor. Bu, karmaşık, düşük ışıklı ortamlarda kişi takibini daha doğru ve ölçeklenebilir hale getiriyor; güvenlik, trafik yönetimi ve kesintisiz görsel algıya dayanan diğer uygulamalar için fayda sağlayabilir.

Atıf: Zhang, C., Su, Y., Wang, N. et al. Soft smooth contrastive learning with hybrid memory for unsupervised visible-infrared person re-identification. Sci Rep 16, 13951 (2026). https://doi.org/10.1038/s41598-026-44364-0

Anahtar kelimeler: kişi yeniden tanımlama, kızılötesi görüntüleme, gözetimsiz öğrenme, kontrastif öğrenme, gözetim