כיול של מסווגים עמוקים באמצעות הפצת ביטחון דינמית ונירמול אדפטיבי

מדוע חשוב להאמין לדרגות הביטחון של הבינה המלאכותית

מערכות בינה מלאכותית מודרניות אינן רק אומרות מה הן חושבות שמופיע בתמונה או בקריאת חישה — הן גם מדווחות עד כמה הן בטוחות בכך. הציון העצמי הזה של הביטחון קריטי בסביבות בעלות חשיבות בטיחותית, כגון הדמיה רפואית, נהיגה אוטונומית או ניטור תעשייתי, שבהן תחושת בטחון מופרזת עלולה להיות מסוכנת. עם זאת, רשתות עצביות עמוקות ידועות כיום בכך שהן נוטות להיות בטוחות מדי בטעותיהן, ותיקונים קיימים לעתים קרובות נכשלים כאשר הנתונים לא מאוזנים או מגיעים מסביבות משתנות. מאמר זה מציג שיטה חדשה, הנקראת הפצת ביטחון דינמית עם נירמול חילופי (DCP‑AN), שנועדה להפוך את ציוני הביטחון של מערכות ה‑AI לשקופים, יציבים ויעילים יותר בתנאים מציאותיים ומשתנים.

כאשר מכונות חכמות בטוחות מדי בעצמן

רוב מודלי הלמידה העמוקה הנפוצים מאומנים לחזות את התווית הנכונה, לא לשפוט עד כמה כל תחזית מהימנה. כתוצאה מכך רשת עשויה להיות בטוחה ב‑99% שתמונה מציגה חתול כשהיא בפועל כלב. טכניקות כיול סטנדרטיות, כמו כוונון טמפרטורה או חלוקת התחזיות לדליים של ביטחון, מנסות לתקן זאת לאחר האימון על‑ידי התאמות גלובליות. עם זאת שיטות אלה מטפלות בכל הקטגוריות ובכל הדוגמאות באותה מידה. בעולם האמיתי נתונים נדירים מאוזנים: מעט קטגוריות ‘‘ראשיות’’ נפוצות מכילות דוגמאות רבות, בעוד קטגוריות ‘‘זנב’’ נדירות עשויות להופיע רק מספר פעמים מועט. רשתות נוטות להיות בטוחות מדי לגבי קטגוריות נפוצות ובלתי בטוחות דיו לגבי נדירות, פער שתיקונים סטטיים ואחידים אינם יכולים לסגור — במיוחד כאשר התפלגות הנתונים משתנה בין תחומים, למשל מעיצובים סקיצותיים לתמונות מהעולם האמיתי.

דרך חדשה לשיתוף מידע בין נתונים ותוויות

DCP‑AN מתמודד עם הבעיה על‑ידי דגם מפורש של אופן זרימת הביטחון בין דוגמאות בודדות לקטגוריות שהן שייכות להן. השיטה מייצגת את הקשר בין דוגמאות וקטגוריות כרשת בעלת שתי שכבות: שכבה אחת של צמתים עבור דוגמאות ושכבה נוספת עבור קטגוריות, הקשורות על‑ידי קישורים משוקללים שמקודדים את חוזקות התחזיות הראשוניות. הביטחון מזוקק לאחר מכן דרך שתי פעימות. בשלב הראשון המידע זורם מהדוגמאות אל הקטגוריות, וכל שינוי מיישם איזון על פיזור התחזיות של כל קטגוריה, מונחה על‑ידי מידת האי‑וודאות שהקטגוריה נראית בה כרגע. בשלב השני המידע חוזר מהקטגוריות אל הדוגמאות, ודוחף את פרופיל הביטחון של כל דוגמה בהתאמה ועדכון לפי עקביותו עם האומדנים הקודמים. על‑ידי חזרה קצרה זו הלוך‑ושוב מספר מוגבל של פעמים, המערכת מעודדת ‘‘עבודת צוות’’ טובה יותר בין הדוגמאות והתוויות, כך שקטגוריות נדירות יקבלו אותות ברורים במקום להיטמע בידי הנפוצות.

להגביר את הטמפרטורה היכן שצריך

חידוש מרכזי ב‑DCP‑AN הוא שדה טמפרטורה אדפטיבי שמשנה עד כמה השיטה מעצבת מחדש את הביטחון, בהתאם לאופן שבו אי‑הוודאות נראית מקומית וגלובלית. במקום להשתמש בערך טמפרטורה יחיד לכל התחזיות, השיטה מחשבת חוזק כוונון נפרד עבור קטגוריות ועבור דוגמאות, בהתבסס על מדדי אי‑וודאות ואי‑התאמה לאורך זמן. עבור הקטגוריות הראשיות שהרשת כבר מטפלת בהן בביטחון, הטמפרטורה היעילה מתקררת בעדינות, מונעת עיבוד יתר ושומרת על הבדלים חדים. עבור קטגוריות זנב ודוגמאות מעורפלות הטמפרטורה עולה, מה שמאפשר תיקונים חזקים יותר שמעלים את ביטחונן כאשר מוצדק וממתנים קפיצות מזויפות. התנהגות דינמית זו נובעת מכלל עדכון מושכל ומודגמת ככזו שמגיבה במהירות כאשר האי‑וודאות גדלה, ובו‑בזמן נשארת יציבה כשהמודל כבר מיושר היטב.

שיפור אמין במגוון משימות וחומרה

המחברים מעריכים בקפידה את DCP‑AN על מספר מערכי נתונים לתמונות שנמצאים בשימוש רחב. על גרסה בעלת זנב ארוך של ImageNet, שבה חלק מהקטגוריות מכילות מאות פעמים יותר תמונות מאחרות, השיטה מעלה את הדיוק בקטגוריות הזנב הנדירות בכ‑10 נקודות אחוז מוחלטות וקוצצת מדד סטנדרטי של שגיאת כיול ביותר מחצי בהשוואה לבסיס לא מתוקן. במבחן חציית תחומים שמעביר מודל שאומן על יצירות אמנות לתמונות מהעולם האמיתי, DCP‑AN גם מגדיל את הדיוק בתחום החדש ומקטין מדד סטטיסטי של הפער בין מקור ליעד. חשוב מכך, רווחים אלה אינם באים על חשבון חישוב כבד: הריצה על כרטיס גרפי מודרני מוסיפה קצת יותר ממילישנייה של השהיה ופחות מחצי מגהבייט של זיכרון נוסף, מה שומר אותה מעשית לזמן אמת ולהתקנים קצה.

מה המשמעות לכך עבור בינה מלאכותית יומיומית

במונחים פשוטים, עבודה זו מראה שניתן להפוך מערכות AI לא רק לחכמות יותר, אלא גם למודעות לעצמן יותר לגבי מתי הן עלולות לטעות. על‑ידי החזרת זרימת מידע של הביטחון הלוך‑ושוב בין דוגמאות לקטגוריות, ובהתאם לכמה אגרסיבית היא מתיישרת בהתבסס על אי‑הוודאות המשתנה, DCP‑AN מספקת אומדני הסתברות שתואמים טוב יותר את המציאות — אפילו לאירועים נדירים ולסביבות משתנות. מאחר שהיא מגיעה עם ערבויות מתמטיות שהעדכונים האיטרטיביים שלה מתייצבים במהירות, וכי היא פועלת בהטלה מינימלית, מסגרת זו יכולה להיות מוכנסת לרשתות עצביות קיימות בתחומים כמו בריאות, רובוטיקה וניטור ביטחוני. התוצאה היא AI שעדיין טועה, אבל הרבה יותר כן לגבי רמת הביטחון שלו — צעד חיוני לקראת מערכות שאנשים יכולים לסמוך עליהן בבטחה.

ציטוט: He, P., Fu, W., Wang, L. et al. Calibrating deep classifiers with dynamic confidence propagation and adaptive normalization. Sci Rep 16, 10959 (2026). https://doi.org/10.1038/s41598-026-39842-4

מילות מפתח: כיול ביטחון, רשתות עצביות עמוקות, הכרה עם זנב ארוך, הערכת אי‑וודאות, התאמת תחום