Clear Sky Science
הסברים מבוססי ראיות, עם מעט ז'רגון

Clear Sky Science · he

קידום בינה שיחנית לאבחון עם הסקה מולטימודלית

· חזרה לאינדקס

מדוע שיחות בריאות מקוונות חכמות יותר חשובות

רבים מאיתנו נעזרים כיום בשיחות מקוונות או באפליקציות כשאנו חשים רע — שולחים תמונות של פריחות, צילומי תוצאות בדיקות או קריאות של מדידות לב משעון. עם זאת, רוב הצ׳אטים הבריאותיים עדיין מבוססים על טקסט בלבד ומתעלמים מזרם עשיר זה של תמונות ומסמכים. מאמר זה חוקר סוג חדש של עוזר רפואי מבוסס בינה שיכול לראות ולשוחח, ומשלב תמונות ורשומות לתוך שיחה בדומה לרופא זהיר בביקור טלה־רפואה.

Figure 1. עוזר בינה שמחבר שיחה עם תמונות רפואיות ותמונות בדיקות לתמיכה באבחון מרחוק.
Figure 1. עוזר בינה שמחבר שיחה עם תמונות רפואיות ותמונות בדיקות לתמיכה באבחון מרחוק.

סוג חדש של עוזר רפואי

החוקרים בנו גרסה מעודכנת של מערכת שנקראת Articulate Medical Intelligence Explorer, או AMIE. במקום רק לקרוא ולכתוב, AMIE המולטימודלית החדשה יכולה לקבל במהלך השיחה תמונות עור, תמונות אלקטרוקרדיוגרם ומסמכים קליניים. לאחר מכן היא מנמקת את כל אלה יחד עם סיפורו הכתוב של המטופל. מתחת למכסה המנוע, AMIE פועלת על מודל חזק של שפה וחזון כללי, אך עטופה במסגרת שמנחה אותה דרך השלבים הטיפוסיים של ביקור רפואי: שאילת שאלות, בניית סיבות אפשריות והצעת צעדים הבאים.

שיחות מוכוונות שמותאמות

רופאים אמיתיים אינם שואלים שאלות באקראי. הם מקשיבים, בונים תמונה מנטלית של המטופל ומותאמים את שאלותיהם ככל שמופיעות רמזים חדשים. כדי לחקות זאת, הצוות תכנן מסגרת דיאלוג בעלת מודעות למצב. ככל שהשיחה מתפתחת, AMIE מחזיקה סיכום פנימי של ההיסטוריה של המטופל, התסמינים וכל תמונה או מסמך שהועלה. היא גם שומרת רשימה נסתרת של אבחנות אפשריות וחסרים בידע. המצב הפנימי הזה עוזר ל‑AMIE להחליט מתי להמשיך לשאול על ההיסטוריה, מתי לבקש תמונה או ECG, מתי יש לה מספיק מידע כדי לשרטט סיבות סבירות ואיך להסביר את מה שהיא רואה בתמונות.

Figure 2. צינור עבודה בשלבים שבו שיחות מעורבות ותמונות רפואיות מעובדות לאבחנות ותוכניות טיפול ברורות יותר.
Figure 2. צינור עבודה בשלבים שבו שיחות מעורבות ותמונות רפואיות מעובדות לאבחנות ותוכניות טיפול ברורות יותר.

בחינת הבינה והרופאים

כדי לבדוק עד כמה AMIE המולטימודלית מתפקדת, הצוות ערך בחינה טלה־רפואית מדומה בקנה מידה גדול שהזכירה מבחנים מעשיים בשימוש בבתי ספר לרפואה. שחקנים מיומנים גילמו מטופלים ב‑105 תרחישים שונים שהצריכו גם שיחה וגם פרשנות של חומר חזותי, כגון תמונות עור, קריאות לב או דוחות מעבדה. לכל שחקן היו שתי התייעצויות טקסט נפרדות, אחת עם רופא טיפול ראשוני מוסמך ואחת עם מערכת ה‑AI, בלי לדעת מי מהם מי. לאחר מכן, הקלינאים האנושיים והבינה המלאה מילאו סיכומים ממוסדים של האבחנות והתוכניות שלהם. רופאים מומחים חיצוניים והשחקנים העריכו לאחר מכן את איכות כל התייעצות.

כיצד המערכת החדשה אומדה

בתרחישים אלו, האבחנות של AMIE המולטימודלית היו נכונות בתכיפות גבוהה יותר מאשר אלה של רופאי הטיפול הראשוני, בין אם נבחן רק את הבחירה העליונה ובין אם רשימה רחבה יותר של אפשרויות. המומחים גם דירגו את ההסקה של AMIE, השימוש שלה בתמונות והתמודדותה עם שאלות מטופל אודות אותן תמונות כטובות או טובות יותר מאלו של הרופאים במדדים הרבים. ראוי לציין שכאשר התמונות היו באיכות נמוכה יותר, גם ה‑AI וגם הרופאים תפקדו פחות טוב, אך דיוק ה‑AI צנח פחות. השחקנים נתנו ל‑AI ציונים שווי ערך או גבוהים יותר מאשר לרופאים בנימוס, בהירות, אמפתיה ונכונות לחזור לביקור נוסף, והם הרגישו שה‑AI עשתה עבודה טובה יותר בהתמודדות ובהסבר של מה שנראה בתמונות שהועלו.

מבחנים של המנגנונים הפנימיים

המחברים גם חקרו מדוע המערכת פועלת כפי שהיא פועלת. בסימולציות ממוחשבות הם השוו את הגרסה המלאה של AMIE לגרסה פשוטה יותר שחסרה את ההסקה המבנית המודעת‑למצב. המערכת המלאה לא רק נתנה אבחנות מדויקות יותר אלא גם ראתה לאסוף מידע באופן יעיל יותר והכינה תוכניות טיפול מתאימות יותר. כאשר הסירו את הדיאלוג הלוך‑ושוב וביקשו מהמודל לעבוד רק מהתמונות, הביצוע הידרדר באופן ברור, מה שמראה ששיחה ולקיחת היסטוריה עדיין חשובים גם עבור AI שיכול לראות. מבחנים נוספים הציעו כי כוונון עדין של המודל הבסיסי על משימות רפואיות צרות בלבד עשוי לשפר כישורים מסוימים אך להזיק לאחרים, ולכן המחברים התמקדו בעיצוב זהיר של תהליך ההסקה שמונח מעליו.

מה זה עשוי להביא לטיפול בעתיד

המחקר מציע שמערכות AI שיכולות לשלב שיחה עם ראייה יכולות יום אחד לעזור למטפלים לנהל התייעצויות מרחוק מורכבות בבטחה וביעילות רבה יותר. על‑ידי פרשנות תמונות שמספקים המטופלים, קריאות לב ומסמכים בתוך שיחה מתחשבת, AMIE המולטימודלית לעתים תאם או עלתה על ביצועי רופאי טיפול ראשוני בסביבה מבוקרת זו, תוך שמירה על ציונים גבוהים לאמפתיה ותקשורת. המחברים מדגישים שמדובר עדיין בעבודה ניסיונית, לא בניסוי קליני מציאותי, ועוד נותר לעשות הרבה כדי לבדוק בטיחות, הוגנות והשפעה בשגרה היומיומית. עם זאת, זה מצביע על עתיד שבו כלי AI ישמשו כשותפים מסוגלים בטלה‑רפואה, ויסייעו למטופלים ולמטפלים להשתמש טוב יותר בתמונות ובמידע שכבר זורמים דרך המסכים שלנו.

ציטוט: Saab, K., Park, C., Strother, T. et al. Advancing conversational diagnostic AI with multimodal reasoning. Nat Med 32, 1726–1736 (2026). https://doi.org/10.1038/s41591-026-04371-0

מילות מפתח: בינה רפואית מולטימודלית, טלה־רפואה, שיחה אבחונית, תמיכה בהחלטה קלינית, צ׳אבטים רפואיים