Sanftes, glattes kontrastives Lernen mit hybridem Speicher für unbeaufsichtigte sichtbare-infrarote Personenwiedererkennung

Menschen im Dunkeln sehen

Moderne Städte sind mit Kameras überzogen, doch die meisten haben nachts oder bei ungünstigen Wetterbedingungen Schwächen. Infrarotkameras, die Wärme statt sichtbarem Licht erfassen, können diese Lücke schließen. Die Herausforderung besteht darin, Computern beizubringen, dieselbe Person zu erkennen, wenn sie in einer Tageslichtaufnahme ganz anders aussieht als in einer Wärmeaufnahme — und das ohne menschliche Expert*innen, die tausende Beispielbilder beschriften. Diese Studie schlägt eine neue Methode vor, um dieses Zuordnen automatisch zu erlernen und dadurch rund-um-die-Uhr sowie datenschutzbewusste Sicherheitslösungen praktikabler zu machen.

Personen zwischen zwei sehr unterschiedlichen Welten abgleichen

Bei der sichtbaren-infraroten Personenwiedererkennung geht es um eine zunächst einfach klingende Frage: Wenn eine Person von einer normalen Farbkamera gesehen wurde, kann man dieselbe Person in Aufnahmen einer Infrarotkamera finden — oder umgekehrt? In Wirklichkeit unterscheiden sich die beiden Bildtypen in Farbe, Kontrast und Detailgrad, sodass die interne Beschreibung einer Person für die beiden Kameratypen auseinanderdriften kann. Frühere Systeme beruhten häufig auf großen Mengen manuell beschrifteter Bilder, in denen Menschen sorgfältig markierten, welche Bilder dieselbe Person zeigten. Das ist teuer und zeitaufwändig, besonders in Multi-Kamera-Netzwerken an großen Orten wie Campusgeländen, Flughäfen oder Stadtblöcken.

Ohne menschliche Labels lernen

Die Autoren konzentrieren sich auf die schwierigere „unüberwachte“ Version des Problems, bei der keine echten Identitätslabels vorliegen. Stattdessen gruppiert der Rechner zunächst ähnlich erscheinende Bilder in Cluster und behandelt jedes Cluster so, als sei es eine Person. Diese vermuteten Identitäten nennt man Pseudo-Labels. Sie treiben eine verbreitete Trainingsstrategie namens kontrastives Lernen an, bei der das Modell Bilder desselben Clusters in seiner internen Repräsentation näher zusammenrückt und verschiedene Cluster auseinanderdrückt. Aber Clustering ist alles andere als perfekt: Menschen mit ähnlicher Kleidung können verwechselt werden, und die Lücke zwischen sichtbaren und infraroten Ansichten führt zu zusätzlichen Fehlern. Werden solche falschen Vermutungen ins Training übernommen, können sie das Modell fehlleiten und seine Zuverlässigkeit verringern.

Rauschen in den Vermutungen glätten

Um diese fehlerhaften Pseudo-Labels zu zähmen, führt die Arbeit ein „soft smooth“ kontrastives Lernschema ein, das zwei kooperierende neuronale Netze nutzt: einen Schüler (student) und eine Lehrkraft (teacher). Der Schüler wird während des Trainings wie üblich aktualisiert, während die Lehrkraft ein langsam gleitender Durchschnitt der Parameter des Schülers ist. Für jedes Bild liefert die Lehrkraft eine sanfte, wahrscheinlichkeitshafte Einschätzung, wie gut es zu jedem Cluster passt, statt einer harten Ja/Nein-Entscheidung. Diese weiche Einschätzung wird dann mit der härteren Clusterzuweisung des Schülers vermischt. Das Ergebnis ist ein geglättetes Ziel, das unsichere Entscheidungen abschwächt und zuverlässigeren stärkeres Gewicht verleiht. Effektiv lernt das Modell, zeitliche Trends zu vertrauen, statt scharf auf jedes laute, verrauschte Update zu reagieren.

Sowohl Unterschiede als auch Gemeinsames behalten

Die zweite zentrale Idee ist ein „hybrider Speicher“, der das bisher Gelernte sichert. Konventionelle Methoden führen getrennte Speicher für sichtbare und infrarote Bilder, was Unterschiede festhält, es aber schwer macht, das Gemeinsame herauszufiltern. Hier behalten die Autoren diese beiden Speicher bei, bauen aber zusätzlich einen dritten: einen gemischten Speicher, der die jeweils ähnlichsten sichtbaren und infraroten Beispiele kombiniert. Dieser hybride Speicher fungiert als Treffpunkt und fördert, dass das Netzwerk Merkmale einer Person entdeckt, die über Beleuchtungsbedingungen und Sensoren hinweg stabil sind — etwa Körperform oder Kleidungsanordnung statt Farbe. Eine dritte Komponente, das adaptive Gewichtungs-Update des Speichers, gibt ungewöhnlichen, aber vertrauenswürdigen Beispielen mehr Einfluss und mehrdeutigen weniger, sodass der Speicher sich in Richtung schärferer, global nützlicher Repräsentationen entwickelt.

Die Methode auf die Probe gestellt

Das Team bewertet seinen Ansatz, genannt Soft Smooth Contrastive Learning with Hybrid Memory (SCLHM), auf drei weit verbreiteten Datensätzen, die sowohl sichtbare als auch infrarote Aufnahmen enthalten, die von mehreren Kameras in realistischen Umgebungen gesammelt wurden. Sie vergleichen ihr System mit vielen existierenden Methoden, einschließlich einiger mit vollständiger manueller Beschriftung und anderen, die mit Teil- oder gar keinen Labels arbeiten. Über die gesamte Bandbreite erzielt SCLHM den Stand der Technik unter den labelfreien Ansätzen und kommt in mehreren Fällen an Methoden mit manuellen Annotationen heran oder gleicht sie sogar aus. Zusätzliche Experimente zeigen, dass jede der drei Komponenten — Soft-Smoothing, hybrider Speicher und adaptive Aktualisierung — einen sinnvollen Beitrag zur Endgenauigkeit leistet.

Rund um die Uhr klarer sehen

Für eine allgemeine Leserschaft ist die Kernbotschaft, dass die Autoren eine Methode entwickelt haben, mit der sich Computer selbst beibringen können, Personen über Tag- und Nachtkameras hinweg zu erkennen, ohne dass Menschen die Identitäten vorgeben müssen. Durch das Glätten unzuverlässiger Vermutungen und das sorgfältige Kombinieren dessen, was für jeden Kameratyp einzigartig ist, mit dem, was sie gemeinsam haben, lernt ihr Framework stabilere und allgemeinere Muster. Das macht die Verfolgung von Personen in komplexen, schwach beleuchteten Umgebungen präziser und skalierbarer und kann Sicherheits-, Verkehrssteuerungs- und andere Anwendungen verbessern, die auf verlässliche, rund-um-die-Uhr visuelle Erfassung angewiesen sind.

Zitation: Zhang, C., Su, Y., Wang, N. et al. Soft smooth contrastive learning with hybrid memory for unsupervised visible-infrared person re-identification. Sci Rep 16, 13951 (2026). https://doi.org/10.1038/s41598-026-44364-0

Schlüsselwörter: Personenwiedererkennung, Infrarotbildgebung, unüberwachtes Lernen, kontrastives Lernen, Überwachung