פיקוח סביבתי בחקלאות וזיהוי עצמים בהתבסס על מערכי YOLO וא SSD מותאמים באמצעות תמונות ויזואליות ותרמיות משולבות

עיניים חכמות יותר למכונות חקלאיות בטוחות יותר

טרקטורים ומכסחות יבול מודרניים נעשים גדולים, מהירים ואוטומטיים יותר, וזה מעלה שאלה פשוטה אך חשובה: איך מוודאים שהם לא יפגעו באנשים, בעלי חיים או מכונות אחרות הנמצאים מוסתרים מאבק, ערפיח או חשיכה? מאמר זה מתאר מערכת בטיחות מעשית שנותנת למכונות חקלאיות סוג של "חזון-על" על ידי שילוב מצלמות וידאו רגילות ומצלמות חיישן חום, ומשווה בין תצורות בינה מלאכותית שונות כדי לבדוק איזו מהן מזהה סכנות בצורה המדויקת והמהירה ביותר.

למה עבודת שדה זקוקה לראייה טובה יותר

חקלאות כיום נסמכת במידה רבה על מכונות גדולות וחזקות שעובדות שעות רבות, לעתים בלילה או בתנאי מזג אוויר קשים. מצלמת וידאו בסיסית יכולה לעזור למפעיל לראות סביב הטרקטור, אך תמונות רגילות נכשלים כאשר יש ערפיח, גשם, סינוור חזק או חושך. מצלמות תרמיות, שרואות חום במקום אור, עובדות היטב בתנאים קשים אלה ומבליטות גופים חמים — אנשים ובעלי חיים — מהרקע. המחברים טוענים שהשילוב של שני סוגי התמונות הוא הדרך הטובה ביותר לבנות מערכת אזהרה חסכנית שניתנת להשלמה על מכונות קיימות ולהשתלבות בלוחות הבקרה הסטנדרטיים של הטרקטור.

איך פועלות המערכות הכפולות והמאוחדות

הצוות הרכיב יחידת מצלמה משולבת RGB (צבע רגיל) ותרמית על גג הטרקטור והזין את שני זרמי התמונות ליחידת עיבוד בעלת עלות נמוכה בתא המפעיל. הם בחנו שתי שיטות עיקריות לשימוש בבינה מלאכותית לזיהוי עצמים בתמונות הללו. בגישה הראשונה, "רשת כפולה", רשת עצבית אחת אומנה רק על תמונות רגילות ורשת שנייה רק על תמונות תרמיות; התוצאות שלהם מוזגו לאחר מכן. בגישה השנייה, "מאוחדת", שתי התמונות הותאמו בקפידה, נערמו יחד והועברו לרשת יחידה שלמדה משני המקורות בבת אחת. שתי התצורות יושמו עם משפחה של מודלים מהירים לזיהוי עצמים הידועים כ-YOLOv8 ועם עיצוב חלופי הנקרא SSD, המותאם למחשבים קטנים ומשובצים.

בניית ואימון ה"ראייה" של המכונה לשדה

כדי ללמד את הרשתות מה לחפש, החוקרים אספו מערך נתונים גדול ממאגרי תמונות ציבוריים ומהקלטות המצלמה שלהם עצמם. התמונות כיסו אנשים, בעלי חיים בר ואיליים, טרקטורים, מכשירי קציר, משאיות, אוטובוסים ומכונות חקלאיות אחרות, הן בנראות והן בתצוגות תרמיות. כל עצם סומן במסגרת שצוירה ביד וקיבל תווית, והתמונות הוגדלו—הופכו, סובבו או טושטשו קלות—כדי לחקות את המגוון הנראה בשדות אמיתיים. הנתונים חולקו לקבוצות אימון, אימות ומבחן כך שהרשתות יכולות ללמוד על חלק אחד ולהישפט בכנות על תמונות שמעולם לא ראו. הושקעה תשומת לב מיוחדת לא למדוד רק דיוק גלמי, אלא גם כמה פעולות חישוביות וכמה פריימים לשנייה כל מודל דרש, שכן כל מערכת אמיתית לטרקטור חייבת לפעול במהירות וביציבות בשדה.

אילו עיניים דיגיטליות הופיעו הכי טוב?

על פני אלפי תמונות מבחן, כל תצורות YOLOv8 זיהו רוב היעדים טוב מאוד, בעיקר מכונות חקלאיות גדולות ובעלי חיים חמים. המודל המאוחד שצרך גם נתוני RGB וגם נתונים תרמיים בזרם יחיד הגיע לציון כולל (ממוצע דיוק) של כ-0.90, מעט לפני הגישה הכפולה שנרשמה כ-0.88. במילים אחרות, מיזוג שני סוגי הראייה בתוך רשת אחת נתן שיפור קטן אך ממשי בביצועים בלי לסבך את פעולת המערכת. התשואות הגדולות ביותר מההדמיה התרמית הופיעו לגבי אנשים ובעלי חיים בתנאי תאורה ירודים, בעוד שהתמונות הרגילות נשארו טובות יותר לצורות מפורטות כמו טרקטורים. כאשר הצוות החליף את YOLOv8 במודל ה-SSD המאוד מקוצץ שלהם, הביצועים ירדו באופן ניכר עבור רוב הקטגוריות, אף ש-SSD אומן הרבה יותר מהר. YOLOv8, ובייחוד הגרסה הקטנה שלה "ננו", סיפק דיוק גבוה יותר בעוד שעדיין השיג מהירויות בזמן אמת של כ-27 פריימים לשנייה על חומרה צנועה.

הפיכת גילויי ה-AI לאזהרות פשוטות

במקום להציף את הנהג בזרמי וידאו, המערכת ממירה את הגילויים להצגה פשוטה בלוח מחוונים העוקבת אחרי תקן תקשורת טרקטורים נפוץ (ISOBUS). על לוח ירוק פשוט, אייקונים מצביעים האם אדם, בעל חיים או כלי רכב נמצאים מול המכונה, יחד עם מרחק, כיוון ורמת הביטחון של המערכת. ממשק מצומצם זה יכול לרוץ על מסכי הפעלה קיימים והוא תוכנן לתנאי שדה קשים, עם מצלמות מוגנות, מעצורים מייצבים ותכנון לשליטה באבק ובטמפרטורה בגרסאות עתידיות.

מה זה אומר לחקלאות היומיומית

לקורא שאינו מומחה, המסקנה היא שלהעניק לטרקטורים "שני סוגי עיניים" ומוח AI מתוכנת היטב יכול לשפר משמעותית את הבטיחות מבלי לדרוש חומרה יקרה ומיוחדת. רשת YOLOv8 יחידה ומכווננת היטב שממזגת תצוגות רגילות ותרמיות מציעה את השילוב הטוב ביותר של דיוק, מהירות ופשטות בין האפשרויות שנבדקו, ובברור גוברת על עיצוב ה-SSD. למרות שהמערכת עדיין מתקשה במעט לזהות בני אדם בכל המצבים — בחלקו בגלל היו מעט דוגמאות שלהם בנתוני האימון — המחקר מראה שמערכות אזהרה מבוססות מצלמה למכשור חקלאי הן מעשיות וצפויות להתקרב ליישום בשדה. עם נתונים מאוזנים יותר ושיטות מיזוג משופרות, גרסאות עתידיות עשויות לעזור למנוע תאונות, להגן על חיי הבר ולהפוך את החקלאות ההמונית לבטוחה יותר עבור כולם בשדה וסביבו.

ציטוט: Tarasiuk, K., Mystkowski, A., Ostaszewski, M. et al. Agriculture surrounding monitoring and object identification based on optimized you only look once and single shot multibox detector setups using combined vision and thermal images. Sci Rep 16, 5129 (2026). https://doi.org/10.1038/s41598-026-36181-2

מילות מפתח: בטיחות חקלאית, הדמיה תרמית, ראייה ממוחשבת, גילוי עצמים, YOLOv8