סגמנטציה של כלי ניתוח שאינה תלויה בדומיין עם השגחה חלשה

מדוע מבטים חכמים יותר על כלי ניתוח חשובים

המנתחים המודרניים פועלים יותר ויותר בעזרת מצלמות, מיקרוסקופים וסורקים מתקדמים. כדי לנווט רובוטים, ליישר תצפיות תלת־ממדיות או להסתיר כלים מתמונות מסוימות, המחשבים חייבים לאתר בכל פריים כל כלי ניתוח באופן מהימן — משימה המוכרת כסגמנטציה. כיום זה בדרך כלל דורש אלפי אנוטציות מדוייקות פיקסל־אחר־פיקسل מצד מומחים רפואיים — ואף אז מערכות מתפרקות כשערכת הדימות או הפרוצדורה משתנה. המחקר הזה מציג דרך לאפשר למודלים חזותיים חזקים לאתר כלים בסוגים שונים של תמונות רפואיות, ללא צורך בציור מפורט של כל כלי מראש.

האתגר של איתור כלים בסוגי תמונות רבים

מנתחים משתמשים במגוון מערכות דימות: וידאו צבעוני ממצלמות לפרוסקופיות בתוך הבטן, מבטי מיקרוסקופ בעין במהלך ניתוח קטרקט, וסריקות חתך כגון טומוגרפיה קוהרנטית אופטית (OCT) או אולטרסאונד. בכל אחד מהם כלי הניתוח נראים שונה לחלוטין — מוטות מתכת מבריקות בתמונות צבעוניות, קווים דקים ובהירים או חצאי סהר ב‑OCT, או כתמים מנוקדים באולטרסאונד. שיטות למידת עומק קיימות יכולות לעבוד מצוין, אך רק לאחר שהוכשרו על מערכי נתונים גדולים ומתויגים בקפידה מאותו סביבה. כאשר המכשיר, האנטומיה או סוג הכלי משתנים, הביצועים נופלים לעיתים קרובות באופן חמור, ואיסוף אנוטציות חדשות איטי, יקר וחסרון בגלל פרטיות ומומחיות.

רעיון חדש: להתייחס לכלים כאובייקטים שאינם במקום

המחברים מציעים שיטה שהם קוראים לה SAM4SIS שהופכת את הבעיה על ראשה. במקום ללמד את המערכת בדיוק איך כל כלי נראה, הם קודם כל מראים לה תמונות ללא כלים, ומאפשרים לה ללמוד איך רקמה "נורמלית" נראית. הם משתמשים בגלאי אנומליות שנקרא PatchCore כדי לבנות זיכרון של דפוסים נורמליים אלו. כאשר מגיעה תמונה חדשה, PatchCore מסמן אזורים שהמראה שלהם אינו מתאים לזיכרון — אזורים שעלולים להכיל כלי ניתוח. שלב זה דורש רק מידע פשוט ברמת התמונה האם יש כלי נוכח או לא, ולא ציור פיקסל־על־פיקסל של קווי המתאר, מה שמקל משמעותית על ההתקנה.

מרמזים גסים ועד קווי מתאר מדויקים

מפות האנומליה גסות, ולכן הצוות משלב אותן עם מודל יסוד חזק, Segment Anything Model 2 (SAM2), שיכול לצייר קווי מתאר חדים אם מקבלים נקודה בתוך האובייקט הרלוונטי. המהלך המרכזי הוא לבחור אוטומטית את הנקודות הללו מהמפת האנומליה, במקום לבקש מאדם ללחוץ. המחברים מפתחים מסננים מותאמים לתמונות צבע רגילות ולסריקות מבוססות עוצמה כמו OCT, שמגבירים אזורים שסביר שיכילו כלים ומדכאים צללים וארטיפקטים בהירים. הם מדרגים אז אזורי כלי פוטנציאליים ובוחרים את הנקודות החזקות ביותר כפרומפט ל‑SAM2. מאחר ש‑SAM2 מחזיר מספר קווי מתאר מועמדים, המחברים מציגים כלל דירוג חדש, SAM4SIS, שמודד עד כמה כל מועמד מתאים למפת האנומליה ובוחר במסכה המתאימה ביותר.

עובד ברחבי ניתוחים וסורקים רבים

החוקרים בוחנים את הגישה שלהם על שלושה מערכי נתונים תובעניים: וידאו ניתוחי רובוטי בטני (EndoVis2017), תמונות מיקרוסקופ של ניתוחי קטרקט (CaDIS), וחתכי OCT של עיניים חזירי עם כלים זעירים (PASO‑SIS). אלה מכסים מבטים, צבעים ותבניות רעש שונים מאוד. מבלי לאמן מחדש את מודל הסגמנטציה הגדול או לצייר מסכות חדשות, SAM4SIS משיג דירוגי דיוק גבול (boundary-accuracy) בטווח של בערך 53% עד 73%, מתחרה או עוקף שיטות המבוססות על פרומפטים טקסטואליים ומתקרב לחלק מהמערכות המפוקחות. הוא ביצע במיוחד טוב במקרים שבהם שיטות מסורתיות מתקשות, כמו בנתוני OCT ואולטרסאונד, וצריך פחות מדקה להגדרה. הצוות גם מראה שהרעיון יכול להדגיש עצמים זרים נוספים, כמו כדורי כותנה בסריקות מוח באולטרסאונד, מה שמרמז שהמושג אינו מוגבל לכלים בלבד.

מה זה אומר לניתוח חכם בעתיד

המסר המרכזי לקוראים הוא שמחשבים כעת יכולים ללמוד "לסגמנט כל דבר חדש" בסצנות ניתוחיות על ידי הבנת איך רקמה נורמלית נראית ואיתור צורות זרות כסבירות לכלים, שאותן מעדנים מודל ראייה כללי. גישה זו נמנעת מעבודה אנוטטיבית כבדה, מסתגלת לטכנולוגיות דימות שונות וניתנת לשילוב בתזרימי עבודה ניתוחיים בהכנה מינימלית. בעוד שמודלים מתמחים ומאומנים בקפידה עדיין מנצחים כאשר יש המון נתונים מתוייגים, SAM4SIS מציע אלטרנטיבה מעשית להליכים חדשים, ערכות דימות נדירות או מחקר בשלבים מוקדמים, ומקרב זיהוי כלי אוטומטי, מהימן ויעיל למציאות קלינית יומיומית.

ציטוט: Peter, R., Pham, D.X.V., Matten, P. et al. Domain-agnostic weakly supervised surgical instrument segmentation. Sci Rep 16, 9337 (2026). https://doi.org/10.1038/s41598-026-43054-1

מילות מפתח: סגמנטציה של כלי ניתוח, בינה מלאכותית בדימות רפואי, גילוי אנומליות, מודלים בסיסיים לראייה, ניתוח רובוטי