ROBUST-MIPS: מאגר משולב של מיקום שלד ודיגום מופעים לכלי ניתוח לפרוסקופיים

עיניים חכמות יותר על כלי הניתוח

ניתוח בחלל קטן מסתמך על כלי ארוכים ודקים שמנחים באמצעות מצלמות בתוך הגוף. כדי שמערכות מחשב יוכלו לסייע למנתחים — על ידי מעקב אחר כלי, אזהרה מפני אזורים מסוכנים או אפילו כיוון המצלמות — הן חייבות לדעת בדיוק היכן כל כלי נמצא וכיצד הוא מיושר. מאמר זה מציג את ROBUST-MIPS, אוסף תמונות גדול ומתויג בקפידה שלומד אלגוריתמים לעקוב אחר כלי ניתוח ביעילות ובדיוק גבוהים יותר, ובכך פותח את הדרך לפעולות בטוחות ואוטומטיות יותר.

מדוע מעקב אחרי כלי בתוך הגוף קשה

במהלך ניתוח פולשני מזערי המצלמה מציגה חלון עגול לתמונה צפופה ומשתנה: רקמות, דם, עשן, סנוור וכמה כלים חופפים זה לזה. קבוצות מחקר רבות ניסו לגרום למחשבים להבין סצנות אלו על ידי סימון כל פיקסל השייך לכלי — תהליך שנקרא סגמנטציה. למרות שהשיטה מדויקת מאוד, המתאר הפיקסלי דורש עבודה איטית ומתייגים מתעייפים, והוא לא תמיד תופס את המידע הפרקטי ביותר כדי לדעת היכן הכלי מתחיל, מתכופף ומסתיים. מלבנים פשוטים, שמקובלים בראייה ממוחשבת יומיומית, לא מתמודדים כאן טוב כי הכלים ארוכים ודקים; תיבה סביבם מכסה הרבה שטח לא רלוונטי וחופפת עם כלים אחרים.

תצוגת דמות מקלות של כלי ניתוח

המחברים מציעים נקודת מבט שונה: במקום לצבוע כל פיקסל, לתאר כל כלי כ"דמות מקלות" פשוטה המורכבת ממספר נקודות מפתח מחוברות בקווים ישרים. במאגר ROBUST-MIPS כל כלי בכל תמונה מתויג בארבע מיקומים סטנדרטיים: נקודת הכניסה של הכלי לשדה הראייה של המצלמה (נקודת הכניסה), המקום שבו הציר נפגש עם הקצה הזז או הקבוע (הציר/מפרק), ועד שתי מיקומי קצה אפשריים. עיצוב זה מתאים גם לכלים קשיחים, כגון זקיפים, וגם לכלים ממוסרגים, כגון מחטפים ומספריים. עבור כלים עם קצה יחיד בלבד, או כלים שקצותיהם חופפים או נעלמים מהחזון, הנקודה הנוספת מסומנת כחסרה אך נשמרת באותו פורמט, כך שאלגוריתמים תמיד רואים מבנה עקבי.

התמודדות עם חלקים מוסתרים ומעורפלים

ניתוחים אמיתיים צפופים ולעתים חלקי הכלי מוסתרים מאחורי רקמה, מחוץ לחלון העגול של המצלמה או מחוץ למסך לחלוטין. כדי לטפל בכך, הקבוצה מוסיפה תווית נראות לכל נקודת מפתח: נראית בבירור, מוסתרת אך ניתן להערכה בביטחון, או לא ידועה כלל. לדוגמה, אם רק הציר נראה, מיקומי הקצה מסומנים כחסרים; אם קצה נמצא מאחורי רקמה אך ניתן להסיק את מיקומו מהציר הנראה וצורת הכלי, הוא מסומן כמוסתר עם קואורדינטות משוערות. המחברים אף מאפשרים למתייגים למקם נקודות מעבר לגבול התמונה כאשר הכלי ממשיך מחוץ לפריים, כדי להבטיח ש"דמות המקלות" תישאר מחוברת גם כאשר רק חלק ממנה נראה.

בניית ושיתוף קרקע אימון עשירה

ROBUST-MIPS בנוי על בסיס מאגר רחב שימוש קיים בשם ROBUST-MIS, שמכיל 10,040 פריימים מ-30 ניתוחי מעי גס. כל פריים כבר הגיע עם מסכות כלי מפורטות; העבודה החדשה מוסיפה את התוויות הסקליות ומנקה את המסכות על ידי הסרת פתחים קבועים של המצלמה שאינם נעים ואינם עוזרים במעקב כלים. כל פריים נארז עם התמונה המקורית, מסכה משופרת הכוללת רק את הכלים הפעילים, וקובץ המתאר את נקודות המפתח, נראותן ואיך הן מחוברות. המחברים ממירים מידע זה לפורמט סטנדרטי פופולרי, שפותח במקור להערכת תנוחת אדם, כך שרבים מהאלגוריתמים הקיימים יכולים להשתמש בנתונים עם מעט עבודה נוספת.

מבחנים למאגר

כדי להראות שהתוויות אינן רק יפות על הנייר, הצוות מאמן כמה מדגמי הערכת תנוחה מובילים — שתוכננו במקור למעקב מפרקי אדם — לעקוב אחר כלי ניתוח במקום. במסגרת זו כל נקודת כלי מטופלת כמו פרק גוף אנושי. מאחר ששתי הקצוות של כלי רבים ניתנות להחלפה, המחברים מתאימים את שיטת הדירוג הרגילה כדי להתייחס להחלפת הקצוות כלא מזיקה, ולא כטעות. הם גם מתאימים את האופן שבו נמדדת הגודל כדי ששיפוט כלי ארוך ודק יהיה הוגן, ללא תלות בסיבובו בתמונה. על פני אלפי תמונות שלא נראו קודם, הדגמים משיגים דיוק חזק, מה שמעיד שמספר קטן של נקודות מסונכרנות היטב מספיק לזיהוי אמין, גם בנוכחות עשן, דם, סנוור וכלים חופפים.

מה זה אומר לעתיד הניתוח

ROBUST-MIPS מראה שייצוג כלי ניתוח כקווי שלד פשוטים יכול לספק מידע עשיר ומעשי במחיר תיוג קטן בהרבה מזה של מסכות פיקסל-א-פיקסל. על ידי פרסום המאגר, תוכנת התיוג המותאמת ודגמי הבנצ'מרק המוכנים לשימוש, המחברים נותנים לקהילה בסיס איתן לבניית מערכות חכמות שימקמו כלים בעקביות על פני מטופלים ופרוצדורות שונות. בטווח הארוך, יכולות אלו יכולות להניע ניווט בטוח יותר, בדיקות בטיחות בזמן אמת ואוטומציה אינטואיטיבית בחדר הניתוח.

ציטוט: Han, Z., Budd, C., Zhang, G. et al. ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments. Sci Data 13, 684 (2026). https://doi.org/10.1038/s41597-026-06938-5

מילות מפתח: מעקב אחרי כלי ניתוח, ניתוח לפרוסקופי, הערכת תנוחה, מאגר תמונות רפואיות, ניתוח בסיוע מחשב