גישת מולטימודל מבוססת רשת תשומת לב גרפית לסיווג מחלות ריאות

מדוע בדיקות ריאה חכמות יותר חשובות

מחלות ריאה הן בין גורמי המוות המובילים בעולם, אך רבות מהן ניתנות לטיפול אם מאבחנים אותן מוקדם. רופאים בדרך כלל מסתמכים על צילומי חזה יחד עם תיעוד טקסטואלי של תסמיני המטופל כדי להחליט מה הבעיה. קריאת כל המידע הזה ידנית איטית ורשומה לטעויות, במיוחד כאשר מחלות שונות נראות דומות בסריקה או חולקות שיעול וחום זהים. המחקר הזה מציג מערכת בינה מלאכותית שמתוכננת לקרוא צילומים ומידע קליני יחדיו, ולעזור לצוותים רפואיים לזהות כמה סוגי בעיות ריאתיות בדיוק ובאחידות גבוהים יותר.

לראות ולקרוא בו‑זמנית

חוקרים מתחילים מרעיון פשוט: סיפור הגוף מסופר גם בתמונות וגם במילים. צילומי חזה מגלים צורות, צללים וצפיפויות בתוך החזה, בעוד שהרשומות הקליניות מפרטות תלונות כמו קוצר נשימה או כאב בחזה. במקום להתייחס לאותם רמזים בנפרד, המערכת החדשה משלבת אותם. היא משתמשת במודל חזון מאומן במיוחד על תמונות רפואיות כדי להפוך כל צילום לחלקים מספריים קטנים שתופסים תבניות ויזואליות. במקביל, מודל שפה המותאם לכתיבה רפואית ממיר כל מילה בתיאור הקליני לייצוג מספרי משלה. ביחד, שני הזרמים הללו יוצרים תמונה משותפת של מה שקורה בריאות המטופל.

בניית רשת של קשרים

הצבת מידע תמונה וטקסט זה על גבי זה בלבד עלולה לפספס קשרים עדינים, כמו אזור מעונן קטן בצילום שחשוב רק כאשר ברשומה מצוין זיהום אחרון. כדי להתמודד עם זה, הכותבים מייצגים את הנתונים המשולבים כגרף — רשת של נקודות וקשרים. כל נקודה מתאימה או לאזור מסוים בצילום החזה או למילה מסוימת בטקסט הקליני. המערכת מודדת עד כמה כל אזור תמונה קשור לכל מילה ושומרת רק על הקשרים החזקים ביותר. כך נוצרת רשת דלילה אך משמעותית שמקשרת, למשל, כתם מבהיק בקצה הריאה להזכרה של כאב בחזה או נוזל.

לתת לתשומת לב לכוון את האבחנה

לאחר בניית הרשת, מעבדים אותה באמצעות מודל תשומת לב גרפי. בסידור הזה, כל נקודה בגרף "מסתכלת" על שכניה ומחליטה כמה משקל לתת להם, בדומה לרופא המתמקד בשילוב התכונות והסימפטומים הרלוונטיים ביותר בסריקה. מספר "ראשים" של תשומת לב בוחנים דפוסים שונים במקביל, ותופסים דרכים מגוונות שבהן טקסט ותמונה יכולים לתמוך זה בזה. המודל מאגד אחר כך את האותות המידעיים ביותר מכלל הגרף ומזין אותם לשכבת החלטה סופית שמנבאת איזו מתוך שמונה מצבי ריאה — או ממצא תקין — היא הסבירה ביותר במקרה הנתון.

שמירה על המערכת במבחן

הצוות אימן והעריך את שיטתו על מאגר ציבורי גדול שכלל כ‑80,000 צילומי חזה מקושרים לתיאורים קליניים קצרים הממוינים לשמונה קטגוריות של מחלות ריאה, בנוסף למקרים תקינים. הם חילקו וניקו בקפידה את הנתונים כדי למנוע דליפה של מקרים כמעט זהים בין אימון ובדיקה. על תמונות וטקסטים שלא נראו קודם, הגישה שלהם סווגה נכון מצבי ריאה בכ‑96 מתוך 100 מקרים, והציגה ביצועים טובים יותר ממספר מתחרים חזקים שאחדו נתונים בצורה גסה יותר או השתמשו בשיטות גרפיות פשוטות יותר. היא גם ייצרה ציוני הסתברות אמינים מאוד, כלומר רמת הביטחון שלה התאימה במידה רבה לשכיחות הדיוקים בפועל. כשנבדקה על מאגר בית חולים שונה עם שכיחויות מחלות שונות, הביצועים ירדו — כפי שציפו — אך המערכת עדיין הבחינה בין מחלות היטב, מה שמרמז על עמידות שימושית בעולם האמיתי.

מה זה אומר למטופלים ולרופאים

באופן מעשי, עבודה זו מראה שמערכת בינה מלאכותית יכולה ללמוד "לקרוא" גם את התמונה וגם את התיעוד יחד, בדומה לקרדיולוג מנוסה השוקל את הסריקה לאור סיפור המטופל. באמצעות התמקדות בקשרים המשמעותיים ביותר בין אזורי תמונה ותסמינים ספציפיים, המודל יכול להפחית אבחנות שהוחמצו או שנעשו בצורה שגויה ולהדגיש מקרים לא ודאיים לבדיקה מעמיקה יותר. אף על פי שנדרש עוד מבחן בבתי חולים אמיתיים, במיוחד עם דוחות עשירים ומגוונים יותר, המחקר מצביע לכיוון כלי תמיכה בקבלת החלטות שיכולים להפוך את אבחון מחלות הריאה למהיר, עקבי ונגיש יותר בבתי חולים שחסרים קוראים מומחים.

ציטוט: Rahman, M., YongZhong, C. & Bin, L. Graph attention network-based multimodal approach for lung diseases classification. Sci Rep 16, 10914 (2026). https://doi.org/10.1038/s41598-026-44282-1

מילות מפתח: אבחון מחלות ריאה, צילומי חזה, בינה מלאכותית רפואית, למידה מולטימודלית, רשתות עצביות גרפיות