מודלי יסוד מתמחים לחדרי ניתוח חכמים

סיוע חכם יותר בחדר ניתוח

הניתוח המודרני מתקיים בסביבה צפופה ובעלי טכנולוגיה מתקדמת שבה אנשים, רובוטים, מצלמות ומסכים נאלצים לפעול יחד בלי טעויות. במאמר זה מוצג ORQA, סוג חדש של בינה מלאכותית המתוכננת במיוחד עבור חדר הניתוח. בשונה מצ'אט־בוטים פופולריים שמתמקדים בעיקר במילים ובתמונות פשוטות, ORQA נבנה כדי לצפות, להקשיב ולפרש את כל מה שמתרחש בזמן הניתוח, כדי לתמוך בצוות, לאתר סיכונים ובסופו של דבר לשפר את הבטיחות של הפרוצדורות.

מדוע הבינה המלאכותית של היום מתקשה בניתוחים

רבים מכלי ה‑AI שהרשימו את העולם אומנו על תמונות, סרטונים וטקסט מהאינטרנט. הם יכולים להסביר מונחים רפואיים או לתאר ניתוח נפוץ, אך העולם הוויזואלי של חדר ניתוח שונה מאוד. מספר מצלמות מציגות זוויות חופפות, זרועות רובוטיות נעות בקרבת אנשים, כלי ניתוח קטנים ומבריקים, והרבה אירועים מתרחשים במקביל. מודלים כלליים לעתים קרובות מפספסים פרטים קריטיים: הם עשויים לזהות שמנתח נמצא בחדר אך לא להבחין בכלי מסוים, לחזות את הצעד הבא של רובוט או להבחין בהפרת איזורי סטריליות. כאשר המחברים בחנו מערכות חזון‑שפה מובילות, כולל מודלים מסחריים ומודל קוד־פתוח חזק, ביצועיהן במשימות כירורגיות היו רק מעט טובים יותר מהניחוש על בסיס התשובה הנפוצה ביותר.

הפיכת זרימות עבודה כירורגיות לשאלות ותשובות

כדי למדוד ולשפר באופן שיטתי את הבנת המכונה של ניתוחים, החוקרים יצרו את המדד ORQA. הם שילבו ארבעה מאגרי נתונים עשירים של חדרי ניתוח אמיתיים ומדומים הכוללים זוויות מצלמה חיצוניות, וידאו מהתקן שמולבש על ידי המנתח, שחזורים תלת־ממדיים של הסצנה, אודיו, רישומי רובוט ועוד. ממקורות אלה הם ייצרו יותר ממאה מיליון זוגות שאלות‑תשובות על מה שמתרחש בחדר. השאלות מכסות 23 סוגי משימות, כגון כמה אנשים נמצאים בחדר, אילו כלים נמצאים בשימוש, איזו פעולה מתרחשת כעת, היכן כלי ממוקם במרחב תלת־ממדי, האם מתרחשת הפרת סטריליות ומה יהיה הצעד הבא של הרובוט. על‑ידי צמצום מאגר ענק זה למיליון דוגמאות מגוונות לאימון ולמערכי בדיקה נפרדים, הם יצרו קריטריון משותף לכל מודל בינה המועמד לתיאור של הבנת ניתוחים.

מודל יסוד שנבנה לחדר הניתוח

בעזרת המדד הזה הצוות אימן את ORQA, מודל יסוד מתמחה הממזג זרמי נתונים כירורגיים רבים. מקודדים נפרדים מטפלים במסגרת וידאו, ענני נקודות תלת‑ממדיים, קול, תמלילי דיבור, טלמטטריית רובוט ונתוני מעקב, והופכים אותם לייצוג מספרי משותף. מודל שפה גדול נוקט אז בהיסק על בסיס האות המשולב הזה כדי לענות על שאלות על הסצנה. במדד ORQA, המערכת המותאמת לתחום מכפילה ומעלה את ביצועי המודלים הכלליים, וזאת על פני טווח רחב של משימות — זיהוי פעולות, מיקום כלי, נימוק לגבי מרחקים ותפקידים ובדיקת תנאים הקשורים לבטיחות. ניתן אף להרחיב את המודל עם מבני זיכרון שעוקבים אחרי התקדמות ההליך לאורך זמן, מה שמעיד על רווחים עתידיים ממודלים טמפורליים עשירים יותר.

הפיכת בינה כירורגית למהירה ומעשית

מודלים חזקים לעתים קרובות גדולים מדי לשימוש בזמן אמת בתוך בתי חולים, שבהם המחשבים עלולים להיות קטנים וקיימות הגבלות חיבור לשרתים מרוחקים מטעמי פרטיות. כדי להתמודד עם זאת, המחברים השתמשו בתהליך שנקרא דיסטילציה, שבו "מורה" גדול מאמן גרסאות "תלמיד" קטנות יותר. הם הפיקו שלוש וריאציות קומפקטיות של ORQA שרצות מספר פעמים מהר יותר תוך שמירה על רוב הדיוק המקורי. מודלים קלים אלה יכולים לפעול באופן מקומי על כרטיס גרפי יחיד או מכשיר קצה, לאפשר ניטור של תחנות מרובות בחדר הניתוח בו‑זמנית ולהימנע מהצורך לשדר נתוני מטופלים רגישים לענן. התוצרים המבניים והניתנים למעקב — כגון רשימות של אנשים, כלים והאינטראקציות שלהם — גם מקלים על קלינאים באימות, ביקורת וביטחון בהתנהגות המערכת.

מה המשמעות של זה עבור ניתוחים בעתיד

בקצרה, המחקר מראה שלניתוחים דרושה בינה מלאכותית מסוג משלהם, מאומנת ישירות על המראות והקולות של ניתוחים אמיתיים ולא על תכנים כלליים מהרשת. ORQA מראה שכאשר חשיפה המודל נתונה לנתוני ניתוח מולטימודליים מתאימים, הוא יכול לעקוב באופן אמין אחר מי עושה מה, היכן הכלים נמצאים, כיצד ההליך מתקדם והאם עשוי להתרחש אירוע לא בטוח. למרות שעדיין נותר עבודה רבה לפני שמערכות כאלה יוכלו להנחות ניתוחים ישירות, ORQA והמדד שלו מספקים בסיס לעוזרים חכמים יותר, לתיעוד טוב יותר ולבסוף לחדרי ניתוח מתואמים ואוטונומיים יותר.

ציטוט: Özsoy, E., Pellegrini, C., Bani-Harouni, D. et al. Specialized foundation models for intelligent operating rooms. npj Digit. Med. 9, 362 (2026). https://doi.org/10.1038/s41746-026-02631-4

מילות מפתח: בינה מלאכותית כירורגית, חדר ניתוח, מודלים מולטימודליים, רובוטיקה רפואית, בטיחות המטופל