גשר בין מודליוּת בעזרת בינה מלאכותית: סקירה של התקדמות ה‑AI בדימות ביורפואי רב‑מודלי

לראות יותר ממה שנראה לעין

הרפואה המודרנית נשענת במידה רבה על תמונות — מתצלומי רנטגן וסריקות MRI ועד פרוסות מיקרוסקופ של רקמות — כדי להבין מה מתרחש בתוך הגוף. סקירה זו מסבירה כיצד בינה מלאכותית יכולה לארוג יחד סוגים שונים של תמונות רפואיות לתמונה אחת עשירה יותר של המחלה. לקורא שאינו מומחה, המשיכה ברורה: התקדמויות אלה עשויות לאפשר גילוי מוקדם יותר של סרטן, אבחנות מדויקות יותר וטיפולים המותאמים לפרט במקום לחולה הממוצע.

מדוע תמונה אחת כבר אינה מספיקה

כל טכניקת דימות מציגה רק חלק מהסיפור. כלים רדיולוגיים כמו CT, MRI ואולטרסונוגרפיה חושפים את הצורה והמבנה של האברים, בעוד שבדיקות גרעיניות כגון PET מדגישות עד כמה הגידול פעיל. מתחת למיקרוסקופ, פתולוגים רואים כיצד התאים מסודרים, ושיטות ספקטרוסקופיות קוראות טביעות כימיות של רקמות. שיטות אופטיות כמו טומוגרפיה קוהרנטית אופטית יכולות להתמקד בשכבות דקות בעין או בעור. לבד, תמונות «מבט‑יחיד» אלה עלולות לפספס רמזים חשובים. כשהן משולבות, עם זאת, הן יכולות לקשר כיצד הגידול נראה, כיצד הוא מתנהג ואילו מולקולות מניעות אותו, ולתת לרופאים הבנה מקיפה יותר של המחלה.

כיצד ה‑AI מנקה ומשלים תמונות רפואיות

לפני שניתן לשלב תמונות שונות, יש לנקותן, ליישרן ולעיתים אף לייצר אותן מאפס. המחברים מתארים כיצד ה‑AI מסייע בהסרת רעש וטשטוש כתוצאה מתנועה מסריקות, בשחזור פרטים מתצלומי CT או PET במינון נמוך ובתיקון ארטיפקטים שעלולים לבלבל רופאים ומחשבים כאחד. מערכות למידה עמוקה יכולות ללמוד מדוגמאות כיצד תמונה נקייה אמורה להיראות ואז לשחזר סריקות חדשות בהתאם. מודלים אחרים מייצרים תמונות סינתטיות ריאליסטיות כדי «להגדיל» מערכי נתונים קטנים או למלא סוגי סריקות חסרים. זה בעל ערך מיוחד במחלות נדירות, שבהן ייתכן שיש מעט דוגמאות אמיתיות לאימון כלי אבחון.

למזג מבטים שונים לסיפור אחד

הליבה של הסקירה היא כיצד ה‑AI ממזג למעשה מקורות דימות מרובים. ברמה הבסיסית ביותר, שיטות מבוססות פיקסלים חופפות סריקות כמו MRI ו‑PET כך שמבנה ופעילות מופיעים בתמונה אחת חדה יותר. גישות מתקדמות יותר מחלצות דפוסים מרכזיים או «תכונות» מכל מודליות ומשלבות את הדפוסים הללו במקום התמונות הגולמיות, מה שהופך את התהליך לעמיד יותר להבדלים ברזולוציה וביישור. מיזוג בשלבים מאוחרים או «ברמת ההחלטה» הולך צעד נוסף, ומאפשר למודלים נפרדים לנתח תמונות שונות ואז להצביע או לממץ את התחזיות שלהם. מערכות היררכיות מערבות כמה מהרעיונות האלה, מצטברות בשלבי מיזוג שונים כך שהן יכולות להתמודד עם כל דבר מפרטים תאיים זעירים ועד שינויים ברמת האיבר במסגרת מסגרת אחת.

מתמונות טובות לטיפול טוב יותר

טכניקות המיזוג הללו כבר נמצאות בבחינה בתרחישים קליניים רבים. שילוב רצפים מרובים של MRI משפר את הסגמנטציה של גידולי מוח, בעוד ששילוב ממוגרפיה, אולטרסונוגרפיה ו‑MRI מעלה את יכולת הגילוי וחיזוי הסיכון לסרטן שד. קישור פרוסות פתולוגיה דיגיטליות עם תמונות רדיולוגיות מסייע לחזות את הגנטיקה של הגידול ואת הישרדות החולים מבלי להזדקק לבדיקות נוספות. ה‑AI גם תומך ב«דימות מונחה נתונים», שבו דפוסים עדינים בסריקות מקושרים לפעילות גנים או לתוצאות חולים, ובהבטחה לפרוגנוזה מדויקת יותר ובחירה טובה יותר של טיפולים. מודלים יסודיים חדשים ומודלים לשפה גדולים רב‑מודליים שואפים להכליל על פני משימות וסוגי דימות, ואפילו לקשר תמונות עם הערות קליניות כתובות, בדרך אל כלים אוניברסליים שיכולים להסתגל למחלות ובתי חולים רבים.

אמון, צדק והדרך קדימה

למרות ההתרגשות, המחברים מדגישים כי אתגרים חשובים נותרו. תמונות רפואיות שונות באופן נרחב בין בתי חולים, מכשירים וקבוצות מטופלים, וזה עלול להפוך את ה‑AI לפגיע או מוטה אם לא מטפלים בכך בקפידה. מודלים רבי‑עוצמה רבים מתנהגים כמו תיבות שחורות, מה שמקשה על הקלינאים לראות מדוע התקבלה החלטה מסוימת. הסקירה עוסקת במאמצים להאיר אילו אזורים בתמונה משפיעים ביותר על התחזיות ולעצב מערכות שקופות והוגנות יותר. היא גם מציינת סוגיות אתיות סביב פרטיות, שיתוף נתונים והדרישות המחשוביות הכבדות של מודלים גדולים. מבט לעתיד רואה סוכנים מותאמים של בינה מלאכותית שיפקחו באופן רציף על דימות, חיישנים לבישים ורשומות בריאות, יסייעו לרופאים בזמן אמת ויעזרו לתאם טיפול ארוך טווח. עבור המטופלים, המסקנה היא ששילוב סוגים רבים של תמונות רפואיות עם ה‑AI עשוי להביא לתשובות מהירות יותר, טיפולים מותאמים יותר ולבסוף תוצאות טובות יותר — בתנאי שהטכנולוגיות האלה יפותחו ויופעלו באחריות.

ציטוט: Doan, L.M.T., Shahhosseini, K., Verma, S. et al. Bridging modalities with AI: a review of AI advances in multimodal biomedical imaging. Commun Eng 5, 30 (2026). https://doi.org/10.1038/s44172-026-00602-x

מילות מפתח: דימות ביורפואי רב‑מודלי, בינה מלאכותית רפואית, מיזוג תמונות, רדיולוגיה ופאתולוגיה, רפואה מותאמת אישית