הערכה שיטתית והנחיות לשימוש ב-Segment Anything Model בניתוחי וידאו כירורגיים

מדוע כלים חכמים בווידאו חשובים בחדר הניתוח

הכירורגיה המודרנית מונחית יותר ויותר על ידי וידאו: מצלמות זעירות מביטות לתוך הגוף בעוד המנתחים מנהלים כלים עדינים על צג. המרת סרטוני וידאו עשירים אך מלאי רעש למפות ברורות ומתויגות של כלים ורקמות יכולה להפוך ניתוחים לבטוחים יותר, להעצים את ההכשרה ולהפוך סיוע רובוטי עתידי לאמיתי יותר. מחקר זה בוחן מערכת ראייה כללית עוצמתית חדשה, שאומנה במקור על סרטונים יומיומיים, ושואל שאלה פשוטה אך חשובה: האם היא מסוגלת "לראות" מספיק טוב בתוך גוף האדם כדי להיות שימושית בניתוח אמיתי — מבלי לאמן אותה מחדש מאפס על נתונים רפואיים יקרים?

כלי ראייה גמיש שנבנה לכל סצנה

העבודה מתמקדת ב-Segment Anything Model 2 (SAM2), מערכת בינה גדולה שנועדה לזהות אובייקטים בסרטונים כל אימת שמקבלים רמז, או "פרומפט", מה לחפש. בניגוד לדגמים מסורתיים שלומדים קטגוריות קבועות, SAM2 אינה תלויה במחלקה: אין זה משנה אם האובייקט הוא כלב, רכב או מהדק כירורגי, כל עוד המשתמש מצביע אליו בנקודה, תיבה או מסכת דוגמה. קידמה חשובה ב-SAM2 היא מאגר הזיכרון שלה, שמזכיר איך האובייקט נראה במסגרת קודמת ומשתמש בזיכרון הזה כדי לעקוב אחריו לאורך הזמן. זה עושה את SAM2 מבטיחה במיוחד לניתוחי וידאו כירורגיים, שבהם כלים יוצאים ונכנסים מהשדה ותאים ורקמות משתנים ומתעוותים ללא הרף.

בדיקת המודל על מגוון ניתוחים

המחברים מבצעים הערכה שיטתית בקנה מידה רחב של SAM2 על תשעה מאגרי נתונים מגוונים המכסים שבע עשרה סוגי פרוצדורות, מהסרת כיס המרה לפרוסקופיה ועד ניתוח פרוסטטה רובוטי ואנדוסקופיה. הם בוחנים שלושה אתגרים מרכזיים: מעקב אחרי כלים, חיתוך של איברים מרובים, והבנת סצנות שמערבות גם כלים וגם רקמות. עבור כל אתגר הם בודקים דרכים שונות להנחיה — נקודה יחידה, נקודות מרובות, תיבות חוצפה ומסכות מלאות — וחוקרים באיזו תדירות יש לרענן את ההנחיות ככל שהווידאו מתקדם. הם גם משווים את המודל ה"מוכן לשימוש" עם מספר שיטות של כיוונון קל על תמונות כירורגיות כדי לראות עד כמה ניתן לשפר את הביצועים מבלי להזדקק לערכות נתונים רפואיות ענקיות.

מה עובד הכי טוב בתוך הגוף

בסך הכל, SAM2 מפתיע בעמידותו בסביבה הזרה הזו. ללא אימון חוזר רפואי, הוא כבר חותך כלים והרבה איברים בביצועים תחרותיים בהשוואה למודלים רפואיים ייעודיים, במיוחד כאשר מקבל פרומפטים עשירים כגון תיבות או מסכות. רענון תקופתי של ההנחיות כל 30 פריימים — למעשה תזכורת למערכת מה היכן ולמה — משפר משמעותית את המעקב בקליפים ארוכים ומורכבים. כאשר החוקרים כיוונו רק חלקים ספציפיים של SAM2, כמו המודול שממיר פרומפטים למסכות, הדיוק בסצנות מרובות-איברים זינק תוך שמירה על דרישות אימון צנועות. לעומת זאת, ניסיון לכוונן את מקודד התמונה כולו באמצעות נתוני כירורגיה מוגבלים יכול אף לפגוע בביצועים, מה שמרמז שרוב הידע הוויזואלי הכללי של SAM2 כדאי להשאיר ללא שינוי.

מגבלות בסצנות סבוכות ומהירות

המחקר גם חושף נקודות תורפה ברורות. SAM2 מתקשה כאשר שדה הראייה צר, התמונה רועשת או מוארת בצורה לקויה, או כשהרקמות חסרות גבולות חדים, כפי שקורה בחלק מההגנות האנדוסקופיות. מבנים דקיקים ומתפצלים כמו כלי דם וצינורות קשים להפרדה כאשר הם חופפים או חולקים קווי מתאר דומים. שימוש בזיכרון הווידאו אינו תמיד מועיל: בסצנות דינמיות מאוד עם תנועת מצלמה מהירה, הרמזים הזמניים עלולים להטעות את המודל במקום לייצב אותו. ממצאים אלה מדגישים שבעוד שמודל יסוד כללי יכול להתקדם הרבה, כמה מהאתגרים הכירורגיים עדיין דורשים כיוונון ייעודי וטיפול טוב יותר בתנודות בתנועת ובמראה.

הנחיות למערכות כירורגיות חכמות עתידיות

ממבחנים נרחבים אלה, המחברים מסיקים עצות פרקטיות לחוקרים ולקלינאים שרוצים להשתמש ב-SAM2 בפרויקטים כירורגיים. הם ממליצים להתחיל בפרומפטים מסוג מסכה או תיבה וכיוונון פשוט מבוסס תמונה שממוקד על מפענח המסכות, להוסיף רענון תקופתי של הפרומפטים לסרטונים ארוכים, ולבדוק אימוני וידאו מורכבים יותר רק כאשר הסצנות יחסית יציבות. הם מראים שגם קליפים עם תיוג דל — רק כמה פריימים מתויגים — יכולים להספיק כדי להתאים את המודל ביעילות. בפשטות, המסקנה מעודדת: מודל ראייה יחיד, שאומן באופן רחב, יכול לטפל בהרבה משימות חיתוך כירורגיות, ולהפחית באופן משמעותי את הצורך לבנות כלי חדש לכל פרוצדורה. בעזרת פרומפטים מחושבים והתאמות קלות, מערכות כמו SAM2 יכולות להפוך לבני-בניה רבי עוצמה לדור הבא של ניווט כירורגי, אוטומציה וכלי הכשרה.

ציטוט: Yuan, C., Jiang, J., Yang, K. et al. Systematic evaluation and guidelines for segment anything model in surgical video analysis. npj Digit. Surg. 1, 2 (2026). https://doi.org/10.1038/s44484-025-00002-2

מילות מפתח: ניתוח וידאו כירורגי, חיתוך תמונה, מודלים יסודיים, ניתוח בסיוע מחשב, בינה מלאכותית רפואית