זיהוי אש ועשן בזמן אמת באמצעות ויז׳ן טרנספורמרים ולמידה מרחב-זמנית

מדוע התראות אש מהירות חשובות

שריפות בבתים, במפעלים וביערות עלולות להפוך קטלניות בתוך דקות. כיום, רבים מהאזעקות עדיין מסתמכות על חיישני חום או עשן שמגיבים רק אחרי שהלהבות כבר פרצו. מאמר זה מתאר מערכת ראייה ממוחשבת חדשה שיכולה לזהות סימנים לאש ולעשן בזרמי מצלמות כמעט מידית, אפילו בתנאים מאתגרים כמו תאורה נמוכה או ערפל כבד. על ידי שילוב מספר טכניקות מתקדמות של אינטליגניה מלאכותית במודל יחיד, החוקרים שואפים לספק לכבאים, לתכנון עירוני ולגופים סביבתיים איתות מקדים משמעותי — מה שיכול להציל חיים, רכוש ומערכות אקולוגיות.

האתגר ההולך וגדל של זיהוי להבות

ערים מודרניות ויערות מנוטרים יותר ויותר על ידי מצלמות, אך ללמד מחשבים לזהות באופן מהימן אש ועשן בתמונות ובסרטונים הוא משימה קשה. שיטות מסורתיות משתמשות ברשתות נוירונים שעובדות היטב על תמונות סטילס או קטעים קצרים, אך לעתים נתקלות בקשיים בסצנות עמוסות ומציאותיות. צילום בודד עשוי להראות משהו שנראה כמו עשן אך בפועל הוא רק ערפל או פליטת מנוע. מערכות המותאמות לווידאו יכולות לעקוב אחרי תנועת צורה לאורך זמן, אך הן נוטות להיות איטיות ותובעניות מבחינת חומרה. כתוצאה מכך, מודלים קודמים לעתים מעלים אזעקות שווא או מפספסים סימנים עדינים ומהירים של סכנה — במיוחד בתאורה לקויה, בעשן כבד או ברקעים עמוסים.

צופה היברידי לתמונות וסרטונים

המחברים מציעים מודל היברידי שמתייחס לזיהוי אש גם כבעיה מרחבית וגם כבעיה זמנית. לתמונות סטילס הם משתמשים בסוג של רשת הנקרא ויז׳ן טרנספורמר, שמסתכל על התמונה כאריג של טלאים ולומד כיצד אזורים מרוחקים קשורים זה לזה. זה עוזר לו להבחין בתבניות רחבות, כמו פסי עשן המתפשטים בעמק או להבות מפוזרות ביער. לווידאו, המערכת נשענת על רשת קונבולוציה תלת-ממדית שמעבדת מחסניות של פריימים בבת אחת, ותופסת כיצד עשן ולהבות משתנות לאורך הזמן. מקודד טרנספורמר אחר בוחן את הדפוסים המשתנים וממקד את תשומת הלב ברגעים ובאזורים הסבירים ביותר לרמז על סכנה, במקום לתת משקל שווה לכל פריים.

מיזוג רמזים ואיזון הנתונים

שלב מפתח במערכת הוא שכבת מיזוג שממזגת רמזים מפורטים מתמונות סטילס עם דפוסי תנועה מהווידאו. על ידי שילוב נקודות מבט משלימות אלה, המודל יכול להבחין טוב יותר בין שריפות אמיתיות למתחרים תמימים כמו סנוור שקיעה, ערפל או עננים. החוקרים גם זיהו שרבים מהמאגרי נתונים הציבוריים מכילים הרבה יותר דוגמאות של אש מאשר של אי-אש, מה שעלול להטות את המודל לדווח יותר מדי על להבות. כדי להתמודד עם זה ייצרו מגוון רחב של סצנות לא-אש ריאליסטיות באמצעות הגדלת נתונים מדוקדקת — שינוי בהירות, חיתוך והיפוך תמונות, וסימולציה של מצבים כמו בקרים ערפיים או פנים חשוכות. לאחר מכן אימנו את המודל עם פונקציית איבוד שמאזנת במפורש טעויות במקרה של אש ובמקרה של אי-אש, מה שמשפר את האמינות בשימוש יומיומי.

מבחן המערכת בשטח

כדי לבחון כמה הגישה שלהם עובדת, המחברים בחנו אותה על שני מאגרי נתונים נפוצים: אחד של כמעט אלף תמונות סטילס מאתגרי NASA Space Apps, ואחד של סרטוני אש מקאגל. לאחר עיבוד מקדים ואיזון, הם אימנו והעריכו את המודל ההיברידי לצד קווי בסיס ידועים כמו ResNet, VGG, LSTM, רשתות קונבולוציה תלת-ממדיות טהורות וכמה צמידים היברידיים של שיטות ישנות אלה. המערכת החדשה הגיעה לכ־99.2% דיוק בתמונות NASA ול־98.3% במאגר הווידאו, תוך שהיא מפגינה ביצועים טובים בהרבה מהמודלים המסורתיים, שלרוב נעו בטווחים מהאמצע של ה-80 ועד האמצע של ה-90. היא פעלה גם במהירות מספקת — עשרות מילישניות לפריים — ובגודל מודל צנוע, מה שהופך אותה מתאימה לפריסה על התקנים בקצה כמו GPUs קטנים ולוחות משובצים.

מה המשמעות של זה לבטיחות היומיומית

בשפה יומיומית, מחקר זה מראה שאינטליגנציה מלאכותית שעוצבה בתבונה יכולה לצפות בזרמי מצלמות בזמן אמת ולענות באופן מהימן על שאלה פשוטה אך קריטית: "האם יש כאן עכשיו אש או עשן מסוכן?" על ידי שילוב הקשר ויזואלי רחב, תנועה לאורך זמן ותשומת לב חכמה לפרטים המכריעים, המודל ההיברידי מקטין משמעותית גם שריפות שלא זוהו וגם אזעקות שווא. עם כיוונון נוסף וחשיפה לסצנות מגוונות יותר — כמו ערים צפופות, חללים תת-קרקעיים ומזג אוויר קיצוני — הוא יכול להפוך לעמוד שדרה מעשי למערכות אזעקה חכמות, לרשתות ניטור שריפות בר ובכלי בטיחות תעשייתיים שמגיבים מהר ומדויק יותר מרבות מהפתרונות הקיימים היום.

ציטוט: Lilhore, U.K., Sharma, Y.K., Venkatachari, K. et al. Real time fire and smoke detection using vision transformers and spatiotemporal learning. Sci Rep 16, 8928 (2026). https://doi.org/10.1038/s41598-026-36687-9

מילות מפתח: זיהוי אש, זיהוי עשן, ראייה ממוחשבת, מודלי טרנספורמר, מעקב בזמן אמת