Ein sicheres und erklärbares multimodales biometrisches System mit vertrauensadaptiver Fusion für Gesicht und Fingerabdruck

Warum Ihr Gesicht und Ihr Fingerabdruck ein intelligenteres Schloss brauchen

Unsere Telefone, Laptops und sogar Bürotüren verlassen sich zunehmend auf Fingerabdrücke und Gesichtsscans statt auf Passwörter. Aber was passiert, wenn diese biometrischen „Schlüssel“ kopiert oder manipuliert werden – und wie können wir den Computermodellen vertrauen, die darüber entscheiden, wer hereinkommt? Dieses Papier stellt eine neue Methode zur Kombination von Gesichts- und Fingerabdruckdaten vor, die genauer, datenschutzfreundlicher und für Menschen verständlicher sein soll und einen Ausblick darauf gibt, wie die digitalen Schlösser von morgen funktionieren könnten.

Zwei Merkmale statt eines

Einzelne biometrische Systeme, etwa nur Fingerabdruck- oder nur Gesichtsscanner, kommen an ihre Grenzen, wenn das Bild unscharf, schlecht beleuchtet oder teilweise verdeckt ist. Die Autor:innen entwickeln ein multimodales System, das Gesicht und Fingerabdruck gemeinsam nutzt. Jedes Bild wird zunächst aufbereitet: Gesichter werden detektiert und ausgerichtet, sodass Augen, Nase und Mund in einer Standardposition liegen, während Fingerabdrücke entrauscht, binarisiert und auf den informativsten zentralen Bereich der Rillen zugeschnitten werden. Diese sorgfältige Vorverarbeitung macht die anschließenden Schritte robuster gegenüber alltäglichen Problemen wie veränderten Lichtverhältnissen, Fingerdruckstärke oder Hintergrundstörungen.

Ein kompaktes digitales „Identitätsgefühl“ lehren

Anstelle manuell entworfener Merkmale wie Kanten oder handgefertigter Texturmuster verwendet das System ein modernes Deep-Learning-Modell namens MobileNetV2, erweitert um einen „Channel-Attention“-Mechanismus. Einfach gesagt lernt dieses Netzwerk, welche Bildbestandteile am wichtigsten sind, um Personen auseinanderzuhalten, und welche vernachlässigt werden können. Es erzeugt für jedes Gesicht und jeden Fingerabdruck eine kurze numerische Kennung – ein sogenanntes Embedding. Diese kompakten Zusammenfassungen sind so gestaltet, dass sie Individuen ausreichend unterscheiden, dabei aber effizient zu speichern und zu verarbeiten sind.

Dem System überlassen, welchem Signal zu vertrauen ist

Daten aus der realen Welt sind unordentlich: Ein verschmierter Fingerabdruck oder ein dunkel belichtetes Selfie kann selbst ein leistungsfähiges Modell in die Irre führen. Um damit umzugehen, führen die Autor:innen die vertrauensadaptive Fusion (Trust-Adaptive Fusion, TAF) ein. Das System schätzt, wie zuversichtlich es in jede Modalität ist, und wandelt diese Zuversichtswerte in Vertrauensscores um. Statt die Gesichts- und Fingerabdruckmerkmale einfach zu stapeln, gewichtet es stärker jene mit höherer Vertrauenswürdigkeit und schwächer jene geringerer Qualität, wenn es eine kombinierte Repräsentation bildet. Diese dynamische Gewichtung hilft dem System, auch dann genau zu bleiben, wenn eine Informationsquelle beeinträchtigt oder teilweise fehlt.

Daten sichern und trotzdem rechnen

Da biometrische Merkmale nicht wie Passwörter geändert werden können, ist deren Schutz besonders wichtig. Das System speichert oder vergleicht daher niemals rohe Merkmale unverschlüsselt. Stattdessen verschlüsselt es den fusionierten Merkmalsvektor mit einer speziellen Technik, die als homomorphe Verschlüsselung bekannt ist. Dieses Verfahren erlaubt es dem Server, den Vergleich – im Wesentlichen das Messen der Ähnlichkeit zwischen einer gespeicherten Vorlage und einem neuen Anmeldeversuch – durchzuführen, während die Daten verschlüsselt bleiben. Nur das endgültige Ähnlichkeitsergebnis wird entschlüsselt, sodass die zugrunde liegende biometrische Vorlage selbst dem arbeitenden Server verborgen bleibt.

Die Blackbox öffnen

Deep-Learning-Modelle werden oft als undurchsichtig kritisiert. Um dem zu begegnen, integrieren die Autor:innen eine Visualisierungsmethode namens Grad-CAM. Für eine gegebene Entscheidung hebt Grad-CAM die Bereiche des Gesichts- oder Fingerabdruckbildes hervor, die den Ausgang am stärksten beeinflusst haben. Bei Gesichtsaufnahmen liegt der Fokus auf Regionen um Augen, Nase und Mund, bei Fingerabdrücken auf Rillenenden und Verzweigungspunkten, nicht auf störendem Hintergrundrauschen. Diese Heatmaps helfen Nutzer:innen und Systemdesigner:innen zu überprüfen, dass das Modell auf sinnvolle Hinweise und nicht auf zufällige Artefakte achtet.

Wie gut es funktioniert und warum das wichtig ist

Das vorgeschlagene System wurde an standardisierten öffentlichen Datensätzen für Gesichter und Fingerabdrücke getestet und zeigt extrem niedrige Fehlerraten: Es verwechselt sehr selten einen Angreifer mit einem legitimen Nutzer oder lehnt einen berechtigten Nutzer ab. Entscheidend ist, dass diese Ergebnisse auch dann gelten, wenn alle Abgleiche im verschlüsselten Bereich durchgeführt werden, was darauf hinweist, dass starke Datenschutzmaßnahmen die Leistung nicht wesentlich schwächen. Für den Alltag bedeutet das: Die Kombination mehrerer biometrischer Merkmale, ihre Qualitätsgewichtung und ihr Schutz durch fortgeschrittene Verschlüsselung können den digitalen Zugang sicherer und vertrauenswürdiger machen – ohne dass wir uns ein einziges komplexes Passwort merken müssen.

Zitation: Chitrapu, P., Morampudi, M.K. & Kalluri, H.K. A secure and explainable multimodal biometric system using trust adaptive fusion for face and fingerprint. Sci Rep 16, 14244 (2026). https://doi.org/10.1038/s41598-026-43252-x

Schlüsselwörter: biometrische Authentifizierung, Gesicht und Fingerabdruck, datenschutzfreundliche Sicherheit, Deep Learning, erklärbare KI