Bezpieczny i wyjaśnialny multimodalny system biometryczny z adaptacyjną fuzją zaufania dla twarzy i odcisku palca

Poznaj, dlaczego Twoja twarz i odcisk palca potrzebują mądrzejszej blokady

Nasze telefony, laptopy, a nawet drzwi biurowe coraz częściej polegają na skanach twarzy i odciskach palców zamiast na hasłach. Co jednak się dzieje, gdy te biometryczne „klucze" zostaną skopiowane lub uszkodzone — i jak zaufać modelom komputerowym, które decydują, komu przyznać dostęp? Artykuł przedstawia nowe podejście do łączenia danych twarzy i odcisku palca, które ma na celu większą dokładność, lepszą ochronę prywatności oraz większą przejrzystość dla ludzi, dając wyobrażenie o tym, jak mogą działać cyfrowe blokady przyszłości.

Korzystanie z dwóch cech zamiast jednej

Pojedyncze systemy biometryczne, takie jak skanery wyłącznie odcisków palców lub twarzy, mają trudności, gdy obraz jest nieostry, źle oświetlony lub częściowo zasłonięty. Autorzy opracowali system multimodalny wykorzystujący jednocześnie twarz i odcisk palca. Każde zdjęcie jest najpierw oczyszczane: twarze są wykrywane i wyrównywane tak, aby oczy, nos i usta znajdowały się w standardowej pozycji, natomiast odciski palców są odszumiane, binaryzowane i przycinane do najbardziej informatywnego centralnego obszaru grzbietów. Takie staranne przygotowanie sprawia, że kolejne etapy są bardziej odporne na codzienne problemy, takie jak zmiany oświetlenia, nacisk palca czy tło z zakłóceniami.

Nauczanie zwartego cyfrowego „zmysłu" tożsamości

Zamiast ręcznie tworzyć cechy takie jak krawędzie czy wzory tekstury, system wykorzystuje nowoczesny model deep-learningowy MobileNetV2, wzbogacony mechanizmem „channel attention". Upraszczając, sieć ta uczy się, które części obrazu są najważniejsze do rozróżniania osób, a które można bezpiecznie pominąć. Generuje krótką reprezentację numeryczną — nazywaną osadzeniem (embedding) — dla każdej twarzy i każdego odcisku palca. Te zwarte podsumowania są zaprojektowane tak, by wystarczająco wyróżniać poszczególne osoby, jednocześnie pozostając efektywnymi w przechowywaniu i przetwarzaniu.

Pozwalanie systemowi decydować, któremu sygnałowi zaufać

Dane z prawdziwego świata są nieporządne: rozmazany odcisk palca czy słabo oświetlone selfie mogą wprowadzić w błąd nawet potężny model. Aby sobie z tym poradzić, autorzy wprowadzają Trust-Adaptive Fusion (TAF). System ocenia swoje zaufanie do każdej modalności i przekształca te poziomy pewności w wskaźniki zaufania. Zamiast po prostu łączyć cechy twarzy i odcisku, nadaje większą wagę tej modalności, której ufa bardziej, a mniejszą tej o gorszej jakości przy formowaniu reprezentacji zbiorczej. To dynamiczne ważenie pomaga systemowi zachować dokładność nawet wtedy, gdy jedno źródło informacji jest zdegradowane lub częściowo niedostępne.

Zabezpieczanie danych przy jednoczesnym wykonywaniu obliczeń

Ponieważ cech biometrycznych nie da się zmienić tak jak haseł, ich ochrona jest kluczowa. System nigdy więc nie przechowuje ani nie porównuje surowych cech w postaci jawnej. Zamiast tego szyfruje złączony wektor cech przy użyciu specjalizowanej techniki znanej jako szyfrowanie homomorficzne. Ta metoda pozwala serwerowi przeprowadzać porównanie — w istocie mierzyć podobieństwo między przechowywanym wzorcem a nową próbą logowania — podczas gdy dane pozostają zaszyfrowane. Tylko końcowy wynik podobieństwa jest odszyfrowywany, co oznacza, że bazowy szablon biometryczny pozostaje ukryty nawet przed serwerem wykonującym obliczenia.

Otwieranie czarnej skrzynki

Modele deep learning są często krytykowane jako nieprzejrzyste. Aby temu zaradzić, autorzy integrują metodę wizualizacji zwaną Grad-CAM. Dla podjętej decyzji Grad-CAM uwypukla obszary obrazu twarzy lub odcisku palca, które najmocniej wpłynęły na wynik. Na zdjęciach twarzy system koncentruje się na okolicach oczu, nosa i ust, natomiast na obrazach odcisków palców skupia się na zakończeniach i punktach rozwidlenia grzbietów, a nie na zaszumionym tle. Te mapy cieplne pomagają użytkownikom i projektantom systemu zweryfikować, że model opiera się na sensownych wskazówkach, a nie na przypadkowych artefaktach.

Jak dobrze to działa i dlaczego to istotne

Proponowany system został przetestowany na standardowych publicznych zbiorach danych dla twarzy i odcisków palców i wykazuje niezwykle niskie wskaźniki błędów: bardzo rzadko myli podszywającego się z prawdziwym użytkownikiem lub odrzuca legalnego użytkownika. Co istotne, wyniki te utrzymują się nawet wtedy, gdy wszystkie dopasowania są wykonywane w domenie zaszyfrowanej, co wskazuje, że silna ochrona prywatności nie osłabia znacząco wydajności. Dla zwykłych użytkowników wniosek jest taki, że łączenie wielu cech biometrycznych, ważenie ich według jakości oraz ochrona zaawansowanym szyfrowaniem może sprawić, że dostęp cyfrowy stanie się zarówno bezpieczniejszy, jak i bardziej godny zaufania — bez konieczności pamiętania jednego skomplikowanego hasła.

Cytowanie: Chitrapu, P., Morampudi, M.K. & Kalluri, H.K. A secure and explainable multimodal biometric system using trust adaptive fusion for face and fingerprint. Sci Rep 16, 14244 (2026). https://doi.org/10.1038/s41598-026-43252-x

Słowa kluczowe: uwierzytelnianie biometryczne, twarz i odcisk palca, ochrona prywatności i bezpieczeństwo, deep learning, wyjaśnialna sztuczna inteligencja