Безопасная и объяснимая мультимодальная биометрическая система с адаптивным доверием для лица и отпечатка пальца

Почему вашему лицу и отпечатку нужен более умный замок

Наши телефоны, ноутбуки и даже офисные двери всё чаще полагаются на отпечатки пальцев и сканы лица вместо паролей. Но что произойдет, если эти биометрические «ключи» будут скопированы или повреждены — и как можно доверять моделям, которые решают, кому открыть доступ? В этой статье представлен новый способ объединения данных лица и отпечатка пальца, цель которого — повысить точность, сохранить конфиденциальность и сделать решения модели более понятными людям, давая представление о том, как могут работать цифровые замки будущего.

Использование двух признаков вместо одного

Отдельные биометрические системы, такие как сканеры только отпечатков или только лиц, могут испытывать трудности, когда изображение размыто, плохо освещено или частично закрыто. Авторы создали мультимодальную систему, использующую одновременно лицо и отпечаток пальца. Сначала каждое изображение аккуратно обрабатывают: лица обнаруживают и выравнивают так, чтобы глаза, нос и рот находились в стандартном положении, а отпечатки очищают от шума, бинаризуют и обрезают до наиболее информативной центральной области гребней. Такая тщательная подготовка делает последующие шаги более устойчивыми к повседневным проблемам — изменениям освещения, давлению пальца или захламленному фону.

Обучение компактного цифрового «чувства» идентичности

Вместо ручного создания признаков, таких как края или текстурные шаблоны, система использует современную модель глубокого обучения MobileNetV2, дополненную механизмом «внимания по каналам». Проще говоря, эта сеть учится выделять части изображения, которые важны для различения людей, и игнорировать несущественные. Она генерирует короткий числовой «отпечаток» — эмбеддинг — для каждого лица и каждого отпечатка пальца. Эти компактные представления спроектированы так, чтобы быть достаточно различимыми для разделения людей и в то же время эффективными для хранения и обработки.

Позволяя системе решать, какому сигналу доверять

Данные из реального мира шумны: размазанный отпечаток или плохо освещенное селфи могут ввести в заблуждение даже мощную модель. Чтобы справиться с этим, авторы вводят адаптивное объединение доверия (Trust-Adaptive Fusion, TAF). Система оценивает, насколько уверена она в каждой модальности, и преобразует эти оценки в баллы доверия. Вместо простого объединения признаков лица и отпечатка она придает больший вес более надежному источнику и меньший — источнику плохого качества при формировании объединенного представления. Такое динамическое взвешивание помогает системе сохранять точность даже когда один источник информации деградирует или частично отсутствует.

Шифрование данных при сохранении вычислений

Поскольку биометрические признаки нельзя изменить как пароли, их защита критически важна. Поэтому система никогда не хранит и не сравнивает исходные признаки в открытом виде. Вместо этого объединенный вектор признаков шифруется с помощью специализированного метода, известного как гомоморфное шифрование. Этот метод позволяет серверу выполнять сравнение — по сути измерять сходство между хранимым шаблоном и новой попыткой входа — пока данные остаются зашифрованными. Расшифровывается только итоговый результат сходства, что означает, что исходный биометрический шаблон остается скрытым даже от сервера, выполняющего вычисления.

Открывая черный ящик

Модели глубокого обучения часто критикуют за непрозрачность. Чтобы решить эту проблему, авторы интегрировали метод визуализации Grad-CAM. Для конкретного решения Grad-CAM подсвечивает области изображения лица или отпечатка пальца, которые наиболее повлияли на результат. На изображениях лиц система фокусируется на зонах вокруг глаз, носа и рта, а на изображениях отпечатков — на окончаниях и ответвлениях гребней, а не на шумном фоне. Эти тепловые карты помогают пользователям и разработчикам системы убедиться, что модель опирается на разумные признаки, а не на случайные артефакты.

Насколько это эффективно и почему это важно

Предложенная система протестирована на стандартных публичных наборах данных для лиц и отпечатков пальцев и демонстрирует чрезвычайно низкие показатели ошибок: она очень редко принимает злоумышленника за легитимного пользователя или отвергает законного пользователя. Важно, что эти результаты сохраняются даже когда все сравнения выполняются в зашифрованной области, что указывает на то, что сильная защита конфиденциальности не ослабляет существенно производительность. Для обычных пользователей вывод таков: комбинирование нескольких биометрических признаков, их взвешивание по качеству и защита при помощи продвинутого шифрования может сделать цифровой доступ одновременно безопаснее и более заслуживающим доверия — без необходимости запоминать какой‑то сложный пароль.

Цитирование: Chitrapu, P., Morampudi, M.K. & Kalluri, H.K. A secure and explainable multimodal biometric system using trust adaptive fusion for face and fingerprint. Sci Rep 16, 14244 (2026). https://doi.org/10.1038/s41598-026-43252-x

Ключевые слова: биометрическая аутентификация, лицо и отпечаток пальца, защищенная конфиденциальность, глубокое обучение, объяснимая ИИ