מערך תמונות תת-מימי לזיהוי דגי אינדיבידואלים עם מודעות להסתתרות

למה ספירת דגים מתחת למים קשה

מכרות דגים הופכות לפעילות הייטקית, שבה מצלמות ואלגוריתמים עוקבים בשקט אחר אלפי בעלי חיים. ואולם משימה בסיסית למראה — לזהות דג בודד בתוך בריכה עמוסה — מסתבת כמאתגרת מאוד. דגים שוחים זה מעל לזה, חוסמים את שדה הראייה של המצלמה ומופיעים רק בחלקים בשולי התמונה. המאמר מציג מאגר תמונות תת-מימיות חדש, Fish Occlusion Dataset (FOD), שנבנה כדי לעזור למחשבים לזהות דגים פרטיים גם כשהם חלקית מוסתרים. היכולת הזו חיונית לאוטומציה של האכלה, בדיקות בריאות והערכת מלאי באקווקולטורה מודרנית.

ספריית תמונות חדשה לבריכות עמוסות

הלב של העבודה הזו הוא אוסף גדול ומטופח בקפידה של תמונות תת-מימיות של קרפיון זהוב (crucian carp), דג נפוץ במגדלות. החוקרים הקליטו 66 דגים במיכל באמצעות מצלמה תת-מימית מיוחדת המותקנת מעל המים, ולאחר מכן חילצו פריימים סטטיים מהווידאו. לאחר הסרת תמונות כמעט-כפולות התקבלו למעלה מאלף תמונות של דג יחיד ומאות סצנות עם דגים מרובים. כל דג שנראה סומן ביד ברמת פיקסל, מה שמספק למחשבים צורות מדויקות במקום תיבות גסות. בסך הכול, FOD מכיל 14,376 תמונות ו-144,894 דגים מתויגים בקפידה, מה שהופך אותו לאחד המשאבים הציבוריים המפורטים מסוגו.

ללמד מחשבים לראות דרך חפיפות

כדי לבדוק באמת עד כמה אלגוריתמים מתמודדים עם צפיפות, הצוות דרש דוגמאות רבות שבהן דגים חופפים זה לזה. שרטוט קווי מתאר מפורטים בסצנות כאלה גוזל זמן רב מאוד, לכן הם אימצו קיצור חכם. קודם כל ייצרו מסכות איכותיות לדגים בודדים. לאחר מכן כיבדו דיגיטלית את הדגים והדביקו אותם על תמונות רקע בארגונים חדשים. באמצעות סיבוב, שינוי קנה מידה והזזה של הדגים, ובהגבלת מידת הכיסוי ההדדי, יצרו 13,000 תמונות סינתטיות עם להקות צפופות מציאותיות וחפיפות מבוקרת. טשטוש רך בקצוות שומר על מראה טבעי של הקומפוזיציות. המאגר הסופי מערבב סצנות מקוריות וסינתטיות, מה שמספק גם גיוון וגם ריאליזם.

דרוג כמה כל דג מוסתר

לא כל הסתתרות זהה: דג שנראה כלו קל יותר לזיהוי מאשר דג שמופיע רק ככתמים מפוזרים. כדי לתאר זאת, המחברים סיווגו כל דג לשלוש קבוצות פשוטות. "שלם" הוא דג שנראה במלואו, "חלק" הוא דג החסום חלקית על ידי אחרים, ו"שבר" הוא דג המופיע רק בחלקים מופרדים. שכבת התיוג הנוספת הזאת מאפשרת לחוקרים לראות בדיוק היכן האלגוריתמים נתקלים בקשיים. בניתוח המספרים הם מצאו שרוב הדגים במאגר שייכים לקבוצת "חלק", מה שמשקף את המתרחש באמת בבריכות צפופות. הם גם הראו כי מדדי סיכום מסורתיים יכולים להסתיר כשלונות על שברים זעירים, ולכן דיווח לפי רמת ההסתתרות נותן תמונה ברורה יותר של חוזקות וחולשות המודלים.

איך האלגוריתמים הנוכחיים מתפקדים

כדי להדגים מה FOD יכול לעשות, הצוות בדק שמן שיטות פופולריות לסגמנטציית תמונה, כולל מודלים מבוססי זיהוי ותיקים ועיצובים חדשים "ללא הצעות" שעובדים ישירות עם אזורי תמונה. כולם השיגו דיוק ממוצע גבוה על המאגר, ושיטה אחת, Mask2Former, בלטה בייצור קווי מתאר חדים במיוחד, במיוחד כשהדגים חפפו. עם זאת גם המודלים הטובים ביותר נחלשו כשהדגים נשברו לשברים — הביצועים שם ירדו באופן ניכר בהשוואה לדגים הנראים במלואם. ניסוי נוסף הראה מדוע התערובת של נתונים אמיתיים וסינתטיים ב-FOD חשובה: אימון רק על סצנות אמיתיות הוביל לטיפול לקוי בהסתתרות, בעוד שאימון רק על סינתטיות החמיץ פרטים מסוימים של תמונות אמיתיות. שילוב של שניהם הניב מודלים העמידים ביותר.

מה זה אומר למכרות דגים חכמים יותר

באופן מעשי, המאגר החדש הזה מציע מגרש ניסוי למערכות ראייה ממוחשבת שצריכות לפעול במכרות דגים אמיתיים, שבהם שדה ראייה ברור הוא היוצא מן הכלל ולא הכלל. על ידי התמקדות מכוונת בדגים חופפים ובשיתוף גם את התמונות וגם את הקוד ששימש לבנייתם, המחברים מספקים בסיס לכלים אמינים יותר לניטור מודע-הסתתרות. בעוד שהאוסף הנוכחי כולל מין אחד רק במיכל מבוקר, הגישה יכולה להיות מורחבת למינים אחרים ולסביבות מאתגרות יותר. ככל שהטכניקות האלה יתפשטו, מגדלי דגים יוכלו לקבל מידע רציף ומדויק על גודל המלאי, התנהגות וצמיחה — מה שעוזר להם להשתמש במזון ביעילות רבה יותר, לאבחן בעיות בריאות מוקדם ולנהל פעילות בת-קיימא יותר.

ציטוט: Wang, X., Yu, H., Zhang, C. et al. An underwater image dataset for occlusion-aware fish instance segmentation. Sci Data 13, 526 (2026). https://doi.org/10.1038/s41597-026-06898-w

מילות מפתח: דימות תת-מימי, גידול דגים, ראייה ממוחשבת, סגמנטציית אינסטנס, הסתתרות