סופר-היעזרות RARP כעוזר: מודל שפה-חזון לפרוסטקטומיה רדיקלית בסיוע רובוט

סיוע חכם יותר בחדר הניתוח

הניתוחים המודרניים לסרטן הערמונית מתבצעים בעזרת רובוטים ומצלמות מתקדמות, אך המנתחים עדיין נדרשים לאזן החלטות מורכבות, שינויים מהירים בתצוגה ושאלות מתמדות מצד מתאמנים וצוות. מאמר זה מציג "עוזר-טייס" מבוסס בינה מלאכותית שיכול לצפות בוידאו חי מהניתוח ולענות על שאלות מוקללות בדיבור במקום — בדומה לעוזר בעל ידע נרחב. עבור המטופלים, זה מצביע לכיוון ניתוחים בטוחים ועקביים יותר; עבור המנתחים, זה מרמז על עתיד שבו הדרכה מומחית והוראה זמינות בכל חדר ניתוח.

עוזר דיגיטלי שיכול לראות ולדבר

החוקרים בנו את Surgical RARP Copilot עבור פרוצדורה ספציפית: פרוסטקטומיה רדיקלית בסיוע רובוט, הניתוח הסטנדרטי עבור גברים עם סרטן ערמונית מקומי. בפרוצדורה זו, מערכת רובוטית הנשלטת על ידי המנתח מסירה את הערמונית דרך חתכים זעירים, בהנחיית מצלמה ברזולוציה גבוהה בתוך הגוף. מערכות AI מסורתיות שמבוססות על צ'אט מעבדות טקסט בלבד, ולכן אינן יכולות לפרש מה המצלמה הכירורגית מציגה. העוזר משלב בין ראייה ממוחשבת ומודל לשוני גדול, מה שמאפשר לו "לראות" את שדה הניתוח ולייצר תשובות בשפה טבעית לגבי מה שקורה, אילו כלי נראים בתמונה או מהם השלבים הבאים שעל המנתח לנקוט.

להקנות לעוזר ידע כירורגי

כדי לצייד את העוזר בידע כירורגי משמעותי, הצוות אסף מאגר אימון מותאם במקום להסתמך על תמונות מהאינטרנט הרחב. הם איספו כמעט 20,000 פריימים מתויגים מניתוחים מוקלטים של פרוסטקטומיה, שסימנו בהם מיקומי כלים, איברים ואת שלב הפרוצדורה הנוכחי. הם הוסיפו גם מידע עומק משוער, כך שהמערכת יכלה להסיק אילו עצמים נמצאים קדימה או נוגעים זה בזה. באמצעות חוקים שתוכננו על ידי מומחים, התוויות הומרו לכיתובים מפורטים המתארים מה כל פריים הציג ובאיזה שלב של הניתוח הוא נמצא. לאחר מכן נעשה שימוש במודלים לשוניים גדולים כדי, בקול של דמויות שונות שנעו ממנתחים בכירים ועד ילדים סקרנים, להפיק למעלה ממיליון זוגות שאלה–תשובה על בסיס הכיתובים. מודל נפרד בדק את הזוגות הללו מבחינת עקביות לוגית, ודוגמאות ליקוי סוננו לפני שלב האימון.

עד כמה העוזר מתפקד טוב

לאחר האימון, העוזר נבדק בכמה דרכים. בערכת מבחן של זוגות שאלה–תשובה סינתטיים שלא נחשף אליהם במהלך האימון, כוונון עדין שיפר את יכולת המודל לתת תשובות חלקית נכונות מכ־61% לכ־83%, ותשובות נכונות לחלוטין מ־0% ל־59%. בוחנים אנושיים אז שאלו 650 שאלות לגבי תמונות כירורגיות מוקלטות; כמעט שבע מתוך עשר תשובות נחשבו נכונות לחלוטין. המערכת התמודדה גם עם משימות קלאסיות של ראייה ממוחשבת ללא אימון חוזר: זיהוי שלב הפרוסטקטומיה מפריים בודד בדיוק של 82% וזיהוי כלים כירורגיים עם ציון F1 של 94%, וגם הערכת הזמן שנותר לניתוח. תוצאות אלה רומזות שמודל אחיד אחד יכול להתאים לכלים ייעודיים במספר משימות ובו־זמנית לנהל שיחה פתוחה.

הכנסת ה-AI לניתוח חי

הדגמה מרשימה במיוחד התקיימה בחדר ניתוח אמיתי. העוזר הותקן על מחשב קצה חזק המקושר ישירות להזנת הווידאו של מערכת הניתוח הרובוטית. במהלך פרוסטקטומיה חיה שבוצעה על פלטפורמת רובוט שונה מזו ששימשה לאימון, קהל של מנתחים ומהנדסים שלח 276 שאלות דרך הטלפונים החכמים שלהם. לאחר סינון שאילתות שאינן רלוונטיות ועמיתיות, מומחים קבעו שהעוזר השיב כ־77% מהשאלות שנותרו נכונה — השוואתי לביצועיו באוף־ליין. המערכת הציגה תגובה תוך כחלוץ של חצי שנייה לפני שהחלה לענות ויצרה טקסט במהירות שנראית אינטראקטיבית, וכל זאת תוך שימוש במסנני בטיחות והתנהגות שמרנית כאשר היה חוסר וודאות.

מה המשמעות לעתיד הניתוחים

לקריאה כלקוח ממוצע, המסר המרכזי הוא שמערכת AI יכולה כעת לצפות בניתוח עדין של סרטן בזמן אמת ולספק תשובות מועילות, מודעות להקשר, לגבי מה שקורה ומה צריך לקרות בהמשך. אף על פי שהעוזר הנוכחי מוגבל לסוג ניתוח אחד, מתבסס על תמונות נקודתיות במקום זיכרון וידאו מלא, ועדיין אינו ניגש לרשומות רפואיות מלאות, הוא מוכיח שניתן להכניס AI מולטימודלי בבטחה לחדר הניתוח. ככל שמערכות דומות יורחבו לפרוצדורות נוספות, תחוברו לנתוני מטופל עשירים יותר ותיבדקנה בצורה מחמירה על השפעה קלינית, הן יוכלו לתמוך בהכשרה, לשפר את התקשורת בצוות ולבסוף לסייע להפוך ניתוחים מורכבים לבטוחים ושקופים יותר.

ציטוט: Bogaert, W., Remy, F., Tejero, J.G. et al. Surgical RARP copilot: a vision language model for robot-assisted radical prostatectomy. npj Digit. Surg. 1, 3 (2026). https://doi.org/10.1038/s44484-025-00003-1

מילות מפתח: ניתוח רובוטי, סרטן הערמונית, בינה מלאכותית כירורגית, מודל שפה-חזון, סיוע בחדר ניתוח