שכחת מכונה בלתי ניתנת להבחנה בתכונות באמצעות קידוד תוויות שלילי-חם והסתרת משקלות מחלקה

מדוע חשוב ללמד מכונות לשכוח

יישומים מודרניים — מטאגינג של תמונות ועד ניתוח תמונות רפואיות — נשענים על מערכות זיהוי תמונות חזקות שאומנו על מערכי נתונים עצומים. אבל מה קורה כאשר מישהו מבקש להסיר את הנתונים שלו, או כשלנתון מסוים מתגלה כי הוא מוטה או לא בטוח? לרשתות עצביות של היום אין כפתור "מחק" פשוט. מאמר זה מציג דרך מעשית לגרום למודל מאומן "לשכוח" קטגוריות נתונים ספציפיות, תוך שמירה ברובה על היכולות שלו על שאר המשימות.

כשצריך למחוק נתונים, ולא רק להתעלם מהם

חוקים כמו תקנות ההגנה על המידע הכללי של האיחוד האירופי (GDPR) מקנים לאנשים "זכות להישכח", כלומר ארגונים עלולים להידרש להסיר את ההשפעה של נתונים מסוימים מהמודלים שלהם, ולא רק להפסיק לאחסן את הקבצים. לאמן מחדש רשת עצבית גדולה מהתחלה בכל פעם שזה קורה הוא איטי, יקר ולפעמים בלתי אפשרי כיוון שהנתונים המקוריים אינם זמינים במלואם. שיטות "שכחת מכונה" קיימות יכולות לעזור, אך לעתים דורשות גישה למלוא סט האימון, כרוכות בחישובים מתמטיים כבדים, או פוגעות באופן מורגש בביצועים על הנתונים הנותרים. המחברים ניסו לתכנן גישה ממוקדת, יעילה ועדינה על הידע השימושי של המודל.

מתכון חדש לטשטוש זיכרונות בלתי רצויים

הרעיון המרכזי של המאמר הוא לתקוף את הבעיה בשני מישורים: כיצד הרשת מייצגת תמונות באופן פנימי, וכיצד היא מקבלת החלטות סופיות. ברמת הייצוג, המחברים מציגים דרך חדשה לקידוד תוויות, הנקראת קידוד תווית שלילי-חם (Negative-Hot Label Encoding). במקום לחזק את הקטגוריה שיש לשכוח, הסכמה זו מתייחסת אליה כמעט כ"אנטי-מחלקה". במהלך שלב כיוונון קצר, תוך שימוש רק בקבוצת תמונות קטנה מהקטגוריה שיש להסיר, הרשת מופנית כך שתיאור הפנימי שלה של אותן תמונות יהפוך לפחות מובחן ויותר מעורב עם שאר המחלקות. ברמת ההחלטה, מוסיפים הסתרת משקלות מחלקה (Class Weight Masking), שמחלישה באופן סלקטיבי את הקשרים הסופיים של המודל שקשורים לקטגוריה שיש לשכוח, ובכך חותכת את השפעתה הישירה על הפלט.

כיצד תוויות שליליות מחלישות קטגוריה

סוויצרים רגילים לסיווג תמונות מאומנים עם תוויות "one-hot": המחלקה הנכונה מודגשת והשאר מוגדרים לאפס. זה דוחף את הרשת לחתוך גבול ברור לכל קטגוריה. קידוד תווית שלילי-חם הופך לוגיקה זו עבור הקטגוריה שאנו רוצים למחוק. במהלך השכחה, לאותה קטגוריה ניתן תרומה שלילית, בעוד שהקטגוריות הנותרות מקבלות תרומות חיוביות קטנות. באופן מתמטי, זה הופך ומגביר את עדכוני השיפוע שאיפשרו בעבר לקטגוריה הנשכחת להיות כה מובחנת, ודוחף בהדרגה את התכונות שלה חזרה אל ההמון. ויזואליזציות של מרחב התכונות הפנימי של הרשת מראות שבתוך הסכמה זו, נקודות מהקטגוריה הנשכחת מפסיקות להיווצר כאשכול צפוף ונפרד ובמקום זאת מתערבבות בענן הסובב של שאר המחלקות.

חיתוך קישורי ההחלטה תוך הגנה על מה שמישאר

שינוי התוויות לבדו אינו מספיק, כי כוונון השכבות המוקדמות של הרשת עלול לשבש בטעות את אופן ההכרה של קטגוריות אחרות. הסתרת משקלות מחלקה מספקת אמצעי הגנה ישיר וזול. לאחר כיוונון קצר עם תוויות שליליות, השיטה מזהה ומנמיכה את רכיבי המודל הקשורים ביותר לקטגוריה הנשכחת בשכבת הממיין הסופית. שלב זה מקטין באופן חד את יכולת המודל לזהות את אותה קטגוריה, מבלי לדרוש חישובים גלובליים מורכבים או גישה לכל דוגמאות האימון. יחד, שני השלבים יוצרים את המסגרת NHLE–CWM: הראשון מטשטש את הזיכרון הבלתי רצוי במרחב התכונות, השני קורע את השפעתו האחרונה על ההחלטות, ושניהם מכוונים באמצעות רק מספר קטן של תמונות דוגמה מהקטגוריות שיש להסיר.

ראיות ממבחנים רבים על מדדי ראייה

המחברים בדקו את המסגרת שלהם על מספר מערכי נתונים מוכרים לתמונות, כולל ספרות יד, מספרי כתובות ברחוב, תמונות בגדי לבוש ותמונות עצמים צבעוניות, בשימוש במגוון ארכיטקטורות רשת פופולריות. הן בתרחישי שכחה של מחלקה יחידה והן במספר מחלקות, השיטה הורידה את הדיוק על המחלקות הנשכחות כמעט לאפס, ובפועל הפכה את המודל לבלתי מסוגל לזהות אותן. קריטי, הדיוק על המחלקות שנשמרו ירד במקסימום בכמה נקודות אחוז בלבד, ובמקרים מסוימים אף השתפר קלות. השוואות עם שיטות שכחה מובילות הראו כי הגישה החדשה השיגה שכחה חזקה יותר עם נזק מועט יותר לביצועים הנותרים, וכל זאת תוך צורך רק בקבוצת דוגמאות קטנה מהמחלקות לשכוח והימנעות מחישובים כבדים.

מה זה אומר עבור AI יומיומי

במילים פשוטות, עבודה זו מראה שאפשר לצייד רשתות עצביות ב"מחק זיכרון" מבוקר עבור סוגי נתונים ספציפיים. על ידי שינוי חכם של אופן השימוש בתוויות במהלך שלב כיוונון קצר ובאמצעות הסתרת משקלות החלטה ממוקדות, מסגרת NHLE–CWM הופכת את המבט של המודל על הקטגוריה הנשכחת גם מטושטש וגם בלתי פעיל. עבור משתמשים ומפקחים, זה מספק דרך ריאליסטית יותר לאכוף את זכות ההישכחות ללא צורך בביטול מודלים יקרי ערך. עבור עוסקים בתחום, היא מציעה כלי מדרגי וקלי חישוב להסרת מחלקות מוטות, מיושנות או רגישות תוך שמירה על שאר המערכת שלמה.

ציטוט: Wang, J., Bie, H., Jing, Z. et al. Feature-indistinguishable machine unlearning via negative-hot label encoding and class weight masking. Sci Rep 16, 11879 (2026). https://doi.org/10.1038/s41598-026-40379-9

מילות מפתח: שכחת מכונה, פרטיות נתונים, למידה עמוקה, סיווג תמונות, שכיחת מודל