מערכת ביומטרית רב‑מודאלית מאובטחת וברירתית עם מיזוג אדפטיבי מבוסס אמון לפנים וטביעות אצבע

מדוע הפנים וטביעת האצבע שלכם זקוקים למנעול חכם יותר

הטלפונים, המחשבים הניידים ואף דלתות המשרדים שלנו מסתמכים יותר ויותר על טביעות אצבע וסריקות פנים במקום סיסמאות. אך מה קורה אם ה"מפתחות" הביומטריים האלה מועתקים או מושתקים — וכיצד נוכל לסמוך על מודלים ממוחשבים שמחליטים מי ייכנס? מאמר זה מציג שיטה חדשה לשילוב נתוני פנים וטביעת אצבע שמטרתה להיות מדויקת יותר, שומרת פרטיות ונגישה להבנה אנושית, ומעניקה הצצה לאופן שבו מנעולים דיגיטליים של מחר עשויים לפעול.

שימוש בשתי תכונות במקום אחת

מערכות ביומטריות בודדות, כגון סורקי טביעת אצבע בלבד או סורקי פנים בלבד, עלולות להתקשות כשהתמונה מטושטשת, יש תאורה לקויה או חלקים מכוסים. המחברים בונים מערכת רב‑מודאלית שמשתמשת גם בפנים וגם בטביעת אצבע יחד. כל תמונה עוברת תחילה ניקוי: הפנים מזוהות ומיוחסות כך שהעיניים, האף והפה נמצאים במיקום סטנדרטי, בעוד שטביעות האצבע מנוקות מרעש, מומרות לבינאריות ומגוהצות לחלק המרכזי המידעי של החריצים. הכנה מדוקדקת זו עושה את הצעדים הבאים עמידים יותר לבעיות יומיומיות כמו שינויי תאורה, לחץ אצבע או רקע מבולגן.

לימוד "חוש" דיגיטלי קומפקטי של זהות

במקום ליצור ידנית תכונות כגון קצוות או תבניות מרקם מתוכנתות, המערכת משתמשת במודל למידה עמוקה מודרני בשם MobileNetV2, משודרג עם מנגנון "תשומת לב ערוצית". בפשטות, הרשת הזו לומדת אילו חלקים בתמונה חשובים ביותר להבחין בין אנשים ואילו ניתן להתעלם מהם בבטחה. היא מייצרת טביעת אצבע מספרית קצרה — שנקראת embeddings — לכל פנים ולכל טביעת אצבע. הסיכומים הקומפקטיים הללו מעוצבים להיות מובחנים מספיק כדי להפריד בין פרטים ובו־זמנית חסכוניים לאחסון ולעיבוד.

לאפשר למערכת להחליט איזה אות לבטוח בו

נתונים מהעולם האמיתי מלוכלכים: טביעת אצבע מטושטשת או סלפי באור כהה יכולים להטעות גם מודל חזק. כדי להתמודד עם זה, המחברים מציגים מיזוג אדפטיבי מבוסס אמון (Trust‑Adaptive Fusion, TAF). המערכת מעריכה עד כמה היא בטוחה בכל מודאליות והופכת רמות ביטחון אלה לציוני אמון. במקום פשוט לשלב את תכונות הפנים והטביעת אצבע, היא נותנת משקל רב יותר לזו שנחשבת לאמינה יותר ופחות לזו באיכות נמוכה בעת יצירת ייצוג משולב. משקל דינמי זה מסייע למערכת להישאר מדויקת גם כאשר מקור מידע אחד נפגע או חסר חלקית.

להצפין את הנתונים ועדיין לבצע את החישובים

מאחר שתכונות ביומטריות אינן ניתנות לשינוי כמו סיסמאות, הגנתן חשובה במיוחד. לכן המערכת לעולם אינה מאחסנת או משווה תכונות גולמיות במצב גלוי. במקום זאת, היא מוצפנת את וקטור התכונות המאוחד באמצעות טכניקה מיוחדת הידועה כהצפנה הומומורפית. שיטה זו מאפשרת לשרת לבצע את ההשוואה — מדידת הדמיון בין תבנית מאוחסנת לניסיון כניסה חדש — בעוד שהנתונים נשארים מוצפנים. רק תוצאת הדמיון הסופית מפוענחת, כלומר התבנית הביומטרית הבסיסית נשארת מוסתרת גם מהשרת המבצע את העבודה.

לפתוח את הקופסה השחורה

דגמי למידה עמוקה מותקפים לעתים קרובות כלא שקופים. כדי לטפל בכך, המחברים משלבים שיטת ויזואליזציה בשם Grad‑CAM. עבור החלטה נתונה, Grad‑CAM מדגיש את האזורים בתמונת הפנים או טביעת האצבע שהשפיעו הכי הרבה על התוצאה. בתמונות פנים, המערכת מתמקדת באזורי העיניים, האף והפה, בעוד שבתמונות טביעת אצבע היא מתרכזת בקצוות החריצים ובנקודות ההסתעפות, ולא ברקעים רועשים. מפות חום אלה עוזרות למשתמשים ולעצבי המערכת לוודא שהמודל מסתמך על רמזים סבירים במקום על ארטיפקטים אקראיים.

כמה זה טוב ולמה זה חשוב

המערכת המוצעת נבדקה על מערכי נתונים ציבוריים סטנדרטיים לפנים ולטביעות אצבע ומציגה שיעורי שגיאה נמוכים מאוד: היא נדירה מאוד בטעות לזהות מתחזה כמשתמש אמיתי או לדחות משתמש לגיטימי. באופן חשוב, תוצאות אלה מתקיימות גם כאשר כל ההתאמות מבוצעות בתחום המוצפן, מה שמצביע על כך שאמצעי הגנה חזקים על פרטיות אינם מחלישים משמעותית את הביצועים. עבור משתמשים יומיומיים, המסקנה היא ששילוב כמה תכונות ביומטריות, שקלולן על פי איכותן והגנתן באמצעות הצפנה מתקדמת, יכול להפוך את הגישה הדיגיטלית לבטוחה ואמינה יותר — מבלי שנסכים לזכור סיסמא מסובכת אחת.

ציטוט: Chitrapu, P., Morampudi, M.K. & Kalluri, H.K. A secure and explainable multimodal biometric system using trust adaptive fusion for face and fingerprint. Sci Rep 16, 14244 (2026). https://doi.org/10.1038/s41598-026-43252-x

מילות מפתח: אימות ביומטרי, פנים וטביעת אצבע, אבטחה שומרת פרטיות, למידה עמוקה, בינה מלאכותית מסבירה