רשת תפיסה כפולה בתדירות ומרחב לכימות מדויק ויעיל של סגמנטציה בתמונות רפואיות

עיניים ממוחשבות חדות יותר לסריקות רפואיות

כאשר רופאים מסתכלים על נקודת עור, אולטרסונוגרפיית שד או סריקת CT, הם למעשה שואלים שאלה קשה אחת: היכן בדיוק נמצא ההליך החולי והיכן הרקמה הבריאה? התשובות ניתנות לעתים קרובות על-ידי תוכנה שמסמנת אזורים חשודים בכל תמונה — תהליך הנקרא סגמנטציה. מאמר זה מציג מערכת בינה מלאכותית חדשה, FDE-Net, שמשרטטת את הגבולות האלה בצורה מדויקת יותר תוך שימוש בכוח חישובי סביר, מה שהופך אותה מתאימה יותר לשימוש בבתי חולים במציאות.

מדוע הכלים הרגילים מפספסים פרטים קטנים

מרבית כלי הדימות הרפואי הנפוצים מסתמכים על רשתות נוירוניות בצורת האות U, כגון ה-U-Net הידוע, שמכווצות את התמונה כדי לחלץ משמעות ואז מרחיבות אותה חזרה כדי לצייר מסכה של האזור המטרה. רשתות אלה טובות בלזיהוי קצוות וחיבורים חדים, אך הן נוטות לטפל בכל חלקי התמונה באותו האופן כשהן מכווצות אותה. כתוצאה מכך, נגעים דהויים או זעירים עלולים להעלם בתהליך, במיוחד כאשר הם מתמזגים עם רקע מורכב כמו איברים או רקמות סמוכות. שיטות קיימות גם פועלות בעיקר במרחב הפיקסלים הגולמי של התמונה, ומתעלמות מפרספקטיבה משלימה: כיצד תוכן התמונה מפוזר על פני תדירויות שונות, מצורות רחבות וחלקות ועד לפרטים עדינים.

להקשיב לתמונות ב"טונים" שונים

FDE-Net מתחילה בטיפול בתמונה הרפואית קצת כמו באות שמע: היא מפרידה את התמונה לחלקי תדירות נמוכה המתארים מבנה כללי ולחלקי תדירות גבוהה שתופסים קצוות ופרטים דקים. בלוק חילוץ המידע בתדירויות הנמוכות מתמקד בחלק התדירות הנמוכה, שנושא רמזים מכריעים לגבי צורה ומיקום של איברים ונגעים אך לעתים מזוהם על-ידי רקע. מודול ייעודי, שנקרא דיכוי אזורי תגובה נמוכים בתחום התדירות (Frequency Domain Low-Response Area Suppression), לומד להחליש אזורים בתדירויות נמוכות שנראים כרקע בלתי-מידעי בזמן שמגביר אזורים שסביר יותר שיכילו מחלה. הרשת משלבת לאחר מכן מחדש את קומפוננטות התדירות הנמוכה והגבוהה המנוקות האלה, ומעניקה לשכבות המאוחרות מבט ברור ומרוכז יותר על מה שחשוב.

לראות גם את התמונה הגדולה וגם את הנגעים הקטנים

ב"צוואר הבקבוק" המרכזי של הארכיטקטורה בצורת U, FDE-Net משתמשת במודול Multi-head Perception Visual State Space. במקום להסתמך על תשומת-לב בסגנון Transformer הכבדה, שיכולה להיות יקרה עבור תמונות רפואיות גדולות, מודול זה שייך למשפחה חדשה של מודלים הידועה כמודלי מצב. הוא מעבד מידע ביעילות תוך שהוא לוכד יחסי מרחק ארוכים ברחבי התמונה. FDE-Net מעבירה את התכונות דרך מספר ענפים מקבילים שכל אחד מהם מביט בתמונה בקני מידה שונים — מתחמקים קטנים המתאימים לאיתור נקודות זעירות ועד לתצפיות רחבות הלוכדות איברים גדולים. אותות הרב-קנה האלה מאוחדים ומועברים דרך בלוק מצב, שלומד כיצד אזורים וגדלים שונים מתקשרים זה עם זה, הכל בעלות חישובית שגדלה באופן ליניארי בלבד עם גודל התמונה.

קיצורי דרך מונחים שמכבדים את ההקשר

רכיב מרכזי נוסף ב-FDE-Net נמצא באופן בו היא מעבירה מידע משכבות מוקדמות לשכבות מאוחרות. רשתות בצורת U מסורתיות פשוט מעתיקות פרטים מוקדמים ישירות לדקודר. FDE-Net במקום זאת מעבירה אותם דרך מנגנון תשומת-לב ממוקדת הקשר (Context Focus Attention). מודול זה משתמש בדרגות קונבולוציה מאוד גדולות אך יעילות כדי לאפשר לכל פיקסל "לראות" שכונה רחבה, וללמוד אילו אזורים סביבתיים מסייעים להבהיר אם גבול הוא אמיתי או רק רעש. הדקודר מקבל לכן לא רק קצוות חדים, אלא קצוות המושפעים מהאנטומיה הרחבה יותר, מה שמוביל לקווים חיצון חלקים וריאליסטיים יותר בעת שרטוט גבולות נגעים.

מבחנים על מטופלים אמיתיים — מה הראיות?

החוקרים בחנו את FDE-Net על שלוש מערכות נתונים ציבוריות: שתי מערכות לנגעי עור, אחת לגידולי שד באולטרסונוגרפיה, ואחת לאיברים מרובים בסריקות CT בטן תלת־ממדיות. בכל המבחנים, FDE-Net השוותה או עלתה על מתחרות מודרניות חזקות, כולל רשתות קונבולוציה קלאסיות, מודלים מבוססי Transformer ושיטות מודרניות מבוססות state space. בבנצ'מרק נפוץ לנגעי עור היא שיפרה מדד חפיפה מקובל (IoU) ביותר משש נקודות אחוז ביחס ל-U-Net המקורי תוך שימוש בכמות חישוב דומה או נמוכה מזו של שיטות חדשות רבות. כמו כן הראתה שיפור בזיהוי נגעים קטנים או דהויים ותוצאות נקיות ועקביות יותר של קווי המתאר של איברים בסריקות תלת־ממדיות.

מה משמעות הדבר לכלים קליניים עתידיים

במילים פשוטות, עבודה זו מראה שהקפדה על שתי הפרספקטיבות — "מבט התדירות" של תמונות ומבנה רב-קנה של המחלה — יכולה להפוך מערכות מחשוב חזותי ליותר מדויקות ללא דרישה לסופרמחשבים. באמצעות דיכוי רעש רקע בתחום התדירות, דוגל מודלים יעילים של יחסים בין קני מידה והעשרת קיצורי הדרך בין שכבות הרשת, FDE-Net מציעה סגמנטציה חדה ומהימנה יותר של גידולים ואיברים. עם שיפור ואימות נוספים, עיצובים כאלה עשויים לסייע ביצירת כלים מהירים ומהימנים יותר שישמשו רופאים באבחון מוקדם, בתכנון טיפולים ומעקב אחר תגובת מחלות לטיפול.

ציטוט: Chen, D., Wu, J., Zhang, XY. et al. A frequency-spatial dual perception network for efficient and accurate medical image segmentation. Sci Rep 16, 7259 (2026). https://doi.org/10.1038/s41598-026-38093-7

מילות מפתח: סגמנטציה של תמונות רפואיות, למידה עמוקה, תחום התדירות, מודלי מצב (state space models), נגעים בעור ואיברים