שיפור מודלים בסיסיים לאבחון מחלות עין נדירות באמצעות מסגרת מולטימודלית ליצירת תמונות מטקסט

מדוע דימות חכם של העין חשוב

מחלות עין רבות שגורמות לעיוורון הן נדירות, ולכן קשה לרופאים ולמחשבים לזהותן בזמן מוקדם. המחקר מציג שיטה חדשה ליצירת תמונות עין מציאותיות מתוך תיאורים טקסטואליים פשוטים, מה שעוזר למערכות בינה מלאכותית ללמוד ממצבים שמעט נצפים במרפאות. הגישה שואפת להפוך סקרינינג אוטומטי של העין למדויק והוגן יותר עבור מחלות רשתית נפוצות ונדירות ברחבי העולם.

הפיכת מילים לתמונות עין מציאותיות

החוקרים פיתחו מערכת בשם EyeDiff שיכולה ליצור תמונות מפורטות של קרקעית העין וסריקות נלוות מתוך פרומפטים כתובים קצרים. הפרומפטים מתארים את שיטת הדימות, כגון צילום צבע או סריקת חתך רוחבי, יחד עם סוג המחלה וחומרתה. EyeDiff אומנה על יותר מארבעים אלף תמונות המכסות 14 סוגי דימות ועברו שלושים ויותר קטגוריות מחלה (מעל שמונים קטגוריות). באמצעות למידת המראה הטיפוסי של כל מחלה על פני מכשירים וזוויות שונות, המודל יכול לייצר תמונות סינתטיות שמשמרות סמני מחלה מרכזיים תוך התאמה לסגנון הדימות המבוקש.

בדיקה האם העיניים הסינתטיות נראות ומתנהגות כמו המקור

כדי לבדוק אם EyeDiff עקב אחרי הוראות הטקסט, הצוות השתמש בכלי אוטומטי שמדרג עד כמה תמונה מתאימה לתיאור שלה. במשימות שכללו מחלות רשתית נפוצות, שינויים סוכרתיים, גלאוקומה ומספר הפרעות נדירות, הדרוגים היו גבוהים, מה שמעיד על התאמה טובה בין הפרומפטים לתמונות שנוצרו. שני רופאי עיניים השתתפו לאחר מכן במבחן בסגנון טיורינג שבו היו צריכים להחליט האם כל תמונה אמיתית או סינתטית. הם תייגו נכון את התמונות האמיתיות ברוב המקרים, אך שגו בכך שסבבו כשנועדו כ־66% מהתמונות שנוצרו כאמיתיות, מה שמראה שהתמונות הסינתטיות היו משכנעות למומחים מיומנים. כאשר התבקשו לדרג עד כמה חמישים תמונות שנוצרו התאימו לפרומפטים, שני המדרגים נתנו ציון שגיאה נמוך והראו הסכמה גבוהה מאוד ביניהם.

עזרה למחשבים לזהות בעיות נדירות טוב יותר

המטרה העיקרית של EyeDiff אינה רק ליצור תמונות מרהיבות אלא לחזק מודלים אבחוניים קיימים שמתקשים בממצאים נדירים. ברבות ממערכי הנתונים בעולם האמיתי, סוגי מחלות מסוימים מיוצגים על ידי רק מספר מקרים בודדים, דבר שיכול להטות מודל כלפי מצבים שכיחים. המחברים הוסיפו תמונות שנוצרו על ידי EyeDiff לקבוצות המיוצגות באופן לקוי באחד עשר מאגרי נתונים נפרדים שנלקחו ממדינות וממכשירי דימות שונים. לאחר מכן הם אימנו מחדש מספר מודלים בסיסיים מובילים לאבחון עיניים, כולל מערכות המיועדות לסוג סריקה יחיד ואחרות שמשלבות תמונות וטקסט. במשימות כגון דירוג רטינופתיה סוכרתית, שלב גלאוקומה, סיווג רב-מחלתי וזיהוי מחלות נדירות, הוספת תמונות סינתטיות שיפרה בעקביות מדדי ביצוע מרכזיים לעומת שימוש רק בנתונים אמיתיים או בטריקים פשוטים של דגימה חוזרת.

יתרונות ואמצעי זהירות לשימוש קליני

EyeDiff הראה ערך מיוחד עבור מחלות נדירות מסוימות כמו מחלת סטארגרדט, רטינופתיה של פגות ורטינובלסטומה, שבהן הגדלת מספר דוגמאות האימון הובילה לשיפורים משמעותיים בדיוק הזיהוי. המחברים מציינים שכל התמונות שנוצרו שומשו ללא סלקציה מדוקדקת, ועדיין סיפקו יתרונות, מה שמרמז שהשיטה עמידה בפרקטיקה. יחד עם זאת, הם מדגישים את הצורך בזהירות. תמונות סינתטיות עלולות להכיל ארטיפקטים עדינים או לשקף הטיות בנתוני האימון, ולכן יש לסמן אותן באופן ברור, לפקח עליהן בקפידה ולהגן מפני שימוש לרעה. הרחבת מגוון נתוני המקור ועיצוב כלים לזיהוי או לכימות ארטיפקטים הם צעדים חשובים להמשך.

מה משמעות הדבר עבור טיפולי עיניים בעתיד

במילים פשוטות, EyeDiff פועל כמפעל חכם לתמונות שיכול לספק במהירות דוגמאות מציאותיות של מחלות עין שכיחות ונדירות על פי דרישה. על ידי מילוי החוסרים שבהם נתוני מטופלים אמיתיים דלים, הוא מסייע לאלגוריתמים אבחוניים להיות רגישים ומאוזנים יותר מבלי לחשוף מידע פרטי נוסף. בעוד שעבודות נוספות נדרשות כדי לשפר את נאמנות התמונות ולהבטיח פריסה בטוחה, המחקר מראה שתמיכה סינתטית מונחית-טקסט עשויה להפוך לבעלת ברית חזקה בבניית כלים אמינים לזיהוי מוקדם של מחלות רשתית המאיימות על הראייה.

ציטוט: Chen, R., Zhang, W., Liu, B. et al. Boosting foundation models for rare eye disease diagnosis via a multimodal text-to-image generative framework. npj Digit. Med. 9, 371 (2026). https://doi.org/10.1038/s41746-026-02560-2

מילות מפתח: דימות רשתית, בינה מלאכותית גנרטיבית, מחלת עין נדירה, הגדלת נתונים רפואיים, אופתלמולוגיה