לקראת דיווח אוטומטי: מאגר דוחות ברונכוסקופיה לשיפור מודלי שפה גדולים מולטי־מודליים

סיוע חכם יותר לרופאי ריאה

כאשר רופאים מסתכלים בתוך דרכי הנשימה באמצעות מצלמה זעירה הם לומדים רבות על ריאות המטופל — אך הפיכת מה שהם רואים לדוחות ברורים ומדויקים דורשת זמן וניסיון. במחקר זה מוצג אוסף חדש, בנוי בקפידה, של תמונות ברונכוסקופיה ודוחות אמיתיים שנועד ללמד מערכות בינה מלאכותית מתקדמות כיצד לסייע בכתיבה הזו. עבור החולים, הדבר עשוי בעתיד להוביל לדוחות מהירים ועקביים יותר ולהפחית סיכוי לפספוס פרטים חשובים.

מדוע הסתכלות בתוך הריאות חשובה

ברונכוסקופיה היא הליך שבו צינור דק עם מצלמה מובל לתוך דרכי הנשימה כדי לבדוק את קנה הנשימה והענפים שלו בריאות. ההליך מסייע לרופאים לזהות בעיות כגון דלקת, זיהום, גידולים או דימום, ויכול גם להנחות טיפולים כמו הוצאת גופים זרים או הצבת תומכים זעירים לשמירה על דרכי אוויר פתוחות. לאחר הבדיקה, הרופא נדרש לתאר רשמית את מה שנצפה בדוח קליני, שמשולב בתיק הרפואי ומנחה החלטות טיפוליות. כתיבת דוחות אלה היא עבודה מפורטת וחוזרת התלויה במידה רבה בהכשרתו וזכרונו של הרופא.

מדוע הנתונים הקיימים לא הספיקו

בשנים האחרונות, מודלים חזקים שיכולים להתמודד עם תמונות וטקסט יחד עשו התקדמות בקריאת בדיקות רפואיות ובהכנת דוחות. עם זאת, עבור ברונכוסקופיה הנתונים הזמינים לאימון מערכות כאלה היו צרים וחסרים. מאגרים מוקדמים כיסו לעתים מעט משימות — כמו זיהוי גידול או סימון מיקום המצלמה — והעלימו מומים יומיומיים כמו ריר, דימום קל או נפיחות שהרופאים מתארים בדרך כלל. חלק מהמאגרים היו גם פרטיים, קטנים או התמקדותם בתשובות פשוטות של כן/לא, מה שעשה אותם למורים דלים למערכת בינה מלאכותית שצריכה לכתוב תיאורים עשירים ודמויי־אנוש של מה שנראה במצלמה.

בניית ספריית תמונות עשירה יותר

כדי למלא את הפער הזה, הכותבים יצרו את BERD, מאגר דוחות בדיקות ברונכוסקופיה חדש המבוסס על פרוצדורות אמיתיות בבית חולים גדול בסין. מתוך 8,477 ברונכוסקופיות שבוצעו בין 2022 ל־2023 בחרו 3,692 מקרים מייצגים ו־6,330 תמונות מפתח שסומנו על ידי רופאים כחיוניות למידע. עבור כל תמונה, קלינאים מיומנים קישרו אותה לתיאורים כתובים מדויקים של מה שהיה נראה, כגון גידולים, נפיחות, משקעים או רקמה תקינה. כאשר בתמונה לא נצפה ממצא, השתמשו בביטוי סטנדרטי פשוט כמו "נורמלי" כדי לשמור על עקביות בנתונים. פרטים אישיים הוסרו, ודוחות המקור בסינית תורגמו לאנגלית באמצעות מודל שפה מקומי כדי להגן על הפרטיות.

כיצד מומחים ובינה מלאכותית שיתפו פעולה

מעבר לתיאורים פשוטים, הצוות רצה שכל תמונה תתוייג גם בקטגוריות רפואיות — כמו "גידול", "kongestion" או "בצקת" — כדי שמודלים יוכלו ללמוד גם לתייג וגם לתאר ממצאים. לשם כך, מומחי ברונכוסקופיה בכירים הגדירו תחילה רשימת קטגוריות מפורטת על בסיס הנחיות רפואיות. מודל שפה מופעל מקומית סרק אז את הכיתובים הטקסטואליים והציע אילו קטגוריות חלות על כל תמונה. מומחים אנושיים בדקו ותיקנו בקפידה את ההצעות הללו, ושמרו על שליטה סופית על האיכות הרפואית. התוצאה היא משאב מתוייג בדקדקנות שבו כל תמונה מקושרת לתיאור ברור, מיקום אנטומי ותוויות מאושרות על ידי מומחים, הכל מאורגן בקבצים פשוטים שניתן להשתמש בהם ישירות על ידי חוקרים.

לימוד בינה מלאכותית לכתיבת דוחות טובים יותר

כדי להדגים ש־BERD אכן מועיל, החוקרים השתמשו בו לאימון מספר מודלים מולטי־מודליים מובילים. תחילה הם בחנו מערכות כלליות ורפואיות שמעולם לא ראו תמונות ברונכוסקופיה קודם לכן. מודלים אלה לרוב הבינו לא נכון את מה שנראה, פספסו גידולים או המציאו פרטים, וקיבלו ציונים נמוכים בהשוואה לטקסט שכתבו מומחים. הצוות כיוונן לאחר מכן מודלים בקוד פתוח על תמונות ותיאורי BERD. לאחר אימון זה, התיאור הטוב ביותר תאם לשונית את ניסוח המומחים באופן משמעותי והתברר כתקין בעיני קלינאים בלמעלה מ־80% מהמקרים — כלומר הטקסט שנוצר על ידי ה־AI היה לעתים קרובות ניתן לשילוב ישיר בדוח אמיתי עם עריכה מזערית.

מה המשמעות לטיפול בעתיד

פשטות הדברים, עבודה זו מספקת את "ספריית האימון" החסרה שמערכות AI צריכות כדי להפוך לעוזרות אמינות בדיווח ברונכוסקופיה. אמנם הנתונים מגיעים מבית חולים יחיד וחלק מפרטי המספרים הוסרו במתכוון כדי לא להטעות את המודלים, המאגר ציבורי, מתועד היטב וגדול מספיק כדי להציב סטנדרט חדש בתחום. ככל שמחקרים יבנו על BERD, ייתכן שבעתיד ייהנו מטופלים מדוחות ברונכוסקופיה מהירים ואחידים יותר, מה שייתן לרופאים יותר זמן להתמקד בהחלטות וטיפול במקום בניירת.

ציטוט: Luo, X., Huang, X., Liang, X. et al. Towards Automated Reporting: A Bronchoscopy Report Dataset for Enhancing Multimodality Large Language Models. Sci Data 13, 339 (2026). https://doi.org/10.1038/s41597-026-06692-8

מילות מפתח: ברונכוסקופיה, הדמיה רפואית, דוחות קליניים, בינה מלאכותית מולטי־מודלית, מאגרי נתונים רפואיים