Ett säkert och förklarbart multimodalt biometritiskt system med förtroendeadaptiv fusion för ansikte och fingeravtryck

Varför ditt ansikte och fingeravtryck behöver ett smartare lås

Våra telefoner, bärbara datorer och till och med kontorsdörrar förlitar sig i allt större utsträckning på fingeravtryck och ansiktsskanningar i stället för lösenord. Men vad händer om dessa biometriska ”nycklar” kopieras eller förvanskas — och hur kan vi lita på de datorbaserade modeller som avgör vem som släpps in? Den här artikeln presenterar ett nytt sätt att kombinera ansikts- och fingeravtrycksdata som syftar till att vara mer träffsäkert, mer sekretessvänligt och mer begripligt för människor, och visar hur morgondagens digitala lås kan fungera.

Två egenskaper i stället för en

Enskilda biometriska system, som bara fingeravtrycksläsare eller bara ansiktsskannrar, kan få problem när bilden är suddig, dåligt belyst eller delvis täckt. Författarna bygger ett multimodalt system som använder både ansikte och fingeravtryck tillsammans. Varje bild förbehandlas: ansikten detekteras och justeras så att ögon, näsa och mun hamnar i standardposition, medan fingeravtryck avbrusas, binariseras och beskärs till det mest informativa centrala området av åsarna. Denna noggranna förberedelse gör de senare stegen mer robusta mot vardagliga problem som förändrat ljus, tryck från fingret eller rörig bakgrund.

Lära en kompakt digital ”känsla” för identitet

I stället för att manuellt skapa kännetecken som kanter eller handgjorda texturmönster använder systemet en modern djuplärande modell kallad MobileNetV2, förstärkt med en mekanism för ”kanaluppmärksamhet”. Enkelt uttryckt lär sig detta nätverk vilka delar av en bild som är viktigast för att särskilja personer och vilka som tryggt kan ignoreras. Det genererar en kort numerisk signatur — kallad en embedding — för varje ansikte och varje fingeravtryck. Dessa kompakta summeringar är utformade för att vara tillräckligt distinkta för att skilja individer åt samtidigt som de är effektiva att lagra och bearbeta.

Låta systemet avgöra vilken signal som är mest pålitlig

Verkliga data är röriga: ett utsmetat fingeravtryck eller en svagt belyst selfie kan vilseleda även en kraftfull modell. För att hantera detta introducerar författarna Trust-Adaptive Fusion (TAF). Systemet uppskattar hur säkert det är i varje modalitet och omvandlar dessa konfidensnivåer till förtroendescore. I stället för att bara stapla ansikts- och fingeravtrycksegenskaper ger det större vikt åt den mer pålitliga källan och mindre åt den med lägre kvalitet när en sammanhållen representation skapas. Denna dynamiska viktning hjälper systemet att hålla sig träffsäkert även när en informationskälla är degraderad eller delvis saknas.

Låsa data samtidigt som beräkningarna kan utföras

Eftersom biometriska egenskaper inte kan ändras som lösenord är det avgörande att skydda dem. Systemet lagrar därför aldrig eller jämför råa funktioner i klartext. I stället krypteras den sammansatta funktionsvektorn med en specialiserad teknik känd som homomorf kryptering. Denna metod tillåter servern att utföra jämförelsen — i praktiken mäta likheten mellan en lagrad mall och ett nytt inloggningsförsök — medan data förblir krypterade. Endast det slutliga likhetsresultatet dekrypteras, vilket innebär att den underliggande biometriska mallen förblir dold även för servern som utför arbetet.

Öppna den svarta lådan

Djuplärande modeller kritiseras ofta för att vara svårgenomträngliga. För att åtgärda detta integrerar författarna en visualiseringsmetod kallad Grad-CAM. För ett givet beslut framhäver Grad-CAM de regioner i ansikts- eller fingeravtrycksbilden som mest påverkade utgången. I ansiktsbilder fokuserar systemet på områden runt ögonen, näsan och munnen, medan det i fingeravtrycksbilder koncentrerar sig på åsslut och förgreningspunkter snarare än på brusiga bakgrunder. Dessa värmekartor hjälper användare och systemdesigners att kontrollera att modellen förlitar sig på rimliga ledtrådar snarare än tillfälliga artefakter.

Hur bra det fungerar och varför det är viktigt

Det föreslagna systemet testas på standardiserade publika dataset för ansikten och fingeravtryck och visar mycket låga felgrader: det misstar mycket sällan en bedragare för en riktig användare eller avvisar en legitim användare. Avgörande är att dessa resultat håller även när all matchning sker i den krypterade domänen, vilket visar att starka sekretesskydd inte väsentligt försvagar prestandan. För vardagsanvändare är slutsatsen att kombinera flera biometriska egenskaper, viktätta dem efter kvalitet och skydda dem med avancerad kryptering kan göra digital åtkomst både säkrare och mer pålitlig — utan att vi behöver komma ihåg ett enda komplext lösenord.

Citering: Chitrapu, P., Morampudi, M.K. & Kalluri, H.K. A secure and explainable multimodal biometric system using trust adaptive fusion for face and fingerprint. Sci Rep 16, 14244 (2026). https://doi.org/10.1038/s41598-026-43252-x

Nyckelord: biometrisk autentisering, ansikte och fingeravtryck, sekretessbevarande säkerhet, djuplärande, förklarlig AI