שיפור זיהוי מינים נדירים בתמונות מעומק הים באמצעות הגברה גנרטיבית עם Stable Diffusion

מדוע קשה לזהות חיים נדירים בעומק הים

הרחק מתחת לפני הים, בעלי חיים גדולים החיים על קרקעית הים תורמים לשמירה על בריאות המערכות האקולוגיות בעומק. יצורים אלה עומדים גם במרכז עניין גובר בנוגע לכרייה תת-ימית. מדענים רוצים מערכות מצלמה אוטומטיות שיכולות למצוא ולספור אותם באמינות, אבל יש בעיה: מינים רבים נצפים רק מספר מועט של פעמים. המחקר חוקר כיצד בינה מלאכותית מודרנית שיוצרת תמונות יכולה להפיק דוגמאות מציאותיות נוספות של מינים נדירים, ובכך לסייע לתוכנות הזיהוי להיות מדויקות יותר מבלי לשלוח יותר אוניות לים.

צילום בעולם שקשה להגיע אליו

הצוות עבד עם שתי אוספות גדולות של תמונות קרקעית הים שצולמו בשדה של גושי מתכות פולימטאליות במערב האוקיינוס השקט. סט אחד הגיע ממערכת מצלמה קשורה שנגררה כמה מטרים מעל הקרקעית, והשני ממערכת רובוטית חופשית. יחד כיסו התמונות 16 סוגי בעלי חיים, כולל מלפפוני־ים, ספוגים, אלמוגים, כוכבי־ים, כוכבי־קוצן וחילזונות־ענק (תמנונים). כמו ברבות ממאגרי המידע על בעלי חיים, מספר הדוגמאות היה לא מאוזן באופן קיצוני: כמה בעלי חיים נפוצים הופיעו לעתים קרובות, בעוד שמספר קבוצות היו עם פחות מ‑50 דוגמאות מתוייגות. מאחר שרוב בעלי החיים תופסים פחות מרבע אחוז מכל תמונה, והפעלת מצלמות בעומקים שמעבר ל‑4,000 מטר יקרה, איסוף נתונים מאוזנים נוסף אינו פרקטי.

להנחיל למודל תמונה ידע על חיים נדירים בקרקעית

כדי להתמודד עם חוסר האיזון הזה, החוקרים פנו לשיטה פופולרית ליצירת תמונות הידועה כמודל דיפוזיה. הם התחילו מגרסה חזקה כללית שנאמנה על סצנות יומיומיות, ואז התאימו אותה בעדינות לתמונות מעומק הים באמצעות שיטת כוונון קלה. ראשית, חתרו החוצה 175 דוגמאות ברורות של שבע קבוצות בעלי חיים נדירות, כגון בריוזואנים (עשבי־ים), סוגים מסוימים של אלמוגים ותמנונים, ושימשו בדוגמאות אלה לאימון המודל לצייר חיתוכי־קדימות משכנעים של כל סוג. הבהרות טקסטואליות פשוטות שונו כדי לעודד שינויים בתנוחה, צבע, תאורה וזווית הצפייה, כך שהמודל לא יעתיק את מספר התמונות המקוריות אלא יחקור שילובים חדשים וריאליסטיים.

מיזוג בעלי חיים סינתטיים לתוך סצנות קרקעית מציאותיות

מכיוון שמזהים אובייקטים זקוקים גם לבעלי החיים וגם לסביבתם, שלב שני התמקד ברקעים ובפריסת הסצנה. כאן השתמש הצוות במערכת בקרה משויכת שמנחה את מודל הדיפוזיה באמצעות תמונות מסכה פשוטות. מסכות אלה ציינו היכן וכמה גדול כל בעל חיים סינתטי צריך להופיע, בהתבסס על טווחי גודל שראו בנתונים האמיתיים. המודל יצר אז רקעי קרקעית ים עם דגמי משקעים, סלעים וגושי נודולות תואמים, ומיזג את הקדימות באופן חלק למקומה תוך שמירה על תאורה וצבע עקביים. קריטי היה גם שכל מסכה סיפקה תיבת גבול אוטומטית, כלומר תוויות מוכנות לשימוש. לאחר סינון של תוצאות פגומות, הסט הסינתטי הסופי הכיל 200 דוגמאות איכותיות לכל מחלקה נדירה, שאוחדו עם התמונות המקוריות לאימון.

כמה עזרו התמונות הנוספות?

מערכת הנתונים המורחבת שימשה לאימון רשת זיהוי מודרנית שמאתרת ומתייגת בעלי חיים בכל פריים. בשני מאגרי התמונות — גם מהמכשיר הנגרר וגם מהרובוט החופשי — הוספת תמונות סינתטיות העלתה את מדדי הדיוק העיקריים בהשוואה לאימון רק על תמונות אמיתיות. השיפורים היו הבולטים ביותר עבור הקבוצות הנדירות ביותר: לדוגמה, הביצועים עבור תמנונים ובריוזואנים השתפרו ביותר מ‑20 נקודות אחוז במאגר אחד, והגברות דומות נצפו עבור בריוזואנים והידרוזואנים במאגר השני. השיטה גם התירה ביצועים טובים יותר מאשר טריקים סטנדרטיים כמו חיתוכים אקראיים, שינויי צבע וקומפוזיציות של חיתוך והדבקה. ניתוח שגיאות מפורט הראה שהשיפור הגדול ביותר נבע מירידה בטעות בזיהוי בין המינים, ולא בהצבת תיבות גבול בדיוק גבוה יותר.

מגבלות, פשרות וכיוונים לעתיד

היתרונות לא היו אחידים. הנתונים הסינתטיים סייעו פחות בתמונות מטושטשות ורחוקות יותר מהרובוט החופשי, שם אפילו בעלי החיים האמיתיים קשים יותר לגילוי. כאשר מודלים שאומנו על מערכת מצלמה אחת נבחנו על המערכת השנייה, הביצועים ירדו באופן חמור, מה שמצביע על כך שהבדלים בתאורה ומרחק הצפייה עדיין מהווים אתגר משמעותי. המחברים גם מצאו כי עודף של נתונים סינתטיים אינו תמיד מועיל: הביצועים השתפרו עד נקודה ואז יצאו לרוויה, מה שמרמז כי ברגע שהגיוון רווי, תמונות נוספות מוסיפות בעיקר חזרהיות. הם מציעים עבודה עתידית על לוקליזציה חדה יותר, טיפול טוב יותר במטרות קטנות ומטושטשות, ודגמים גנרטיביים יעילים יותר המכסים מספר רב של מינים בו‑זמנית.

מה משמעות הדבר לצפייה בעומק הים

במילים פשוטות, המחקר מראה שתמונות מזויפות שנוצרו בקפידה יכולות לשפר באופן ניכר מערכות אוטומטיות בזיהוי בעלי חיים נדירים בתמונות סקר אמיתיות. על ידי לימוד הגלאים כיצד מינים יוצאי דופן עשויים להיראות בתנאים מציאותיים רבים, הגישה הזו מפחיתה תצפיות חסרות בלי לפגוע בביצועים על בעלי חיים נפוצים. אמנם זה אינו מבטל את הצורך במשלחות אמיתיות או בבדיקות מומחים, אבל זה מציע דרך מעשית למתוח את הנתונים המצומצמים ולתמוך במעקב אמין יותר אחר בתי גידול פגיעים בעומק הים כשפעילות תעשייתית זזה למים עמוקים יותר.

ציטוט: Deng, J., Duan, M., Wei, D. et al. Improving rare-class detection in deep-sea imagery via generative augmentation with stable diffusion. Sci Rep 16, 15910 (2026). https://doi.org/10.1038/s41598-026-45732-6

מילות מפתח: תמונות מעומק הים, הגברת נתונים, Stable Diffusion, זיהוי מינים נדירים, רובוטיקה תת-ימית