ROBUST-MIPS: Ett kombinerat dataset för skelettliknande pose och instanssegmentering av laparoskopiska kirurgiska instrument

Smartare blickar på kirurgiska verktyg

Nyckelhålskirurgi förlitar sig på långa, smala instrument som styrs av kameror inne i kroppen. För att datorer ska kunna assistera kirurger — genom att spåra verktyg, varna för farozoner eller till och med styra kameror — måste de först veta exakt var varje instrument befinner sig och hur det är orienterat. Den här artikeln presenterar ROBUST-MIPS, en stor, noggrant annoterad bildsamling som lär algoritmer att följa kirurgiska verktyg mer effektivt och noggrant, och banar väg för säkrare och mer automatiserade ingrepp.

Varför det är svårt att följa verktyg inne i kroppen

Under minimalt invasiv kirurgi visar kameran ett cirkulärt fönster mot en trång, föränderlig scen: vävnad, blod, rök, bländning och flera överlappande instrument. Många forskargrupper har försökt få datorer att förstå dessa scener genom att markera varje pixel som tillhör ett verktyg, en process som kallas segmentering. Även om sådana pixeltrogna konturer är mycket detaljerade är de tidskrävande och tröttsamma för människor att rita, och fångar inte alltid den mest användbara informationen för att veta var ett verktyg börjar, böjer sig och slutar. Enkla rektanglar, som är vanliga i vardaglig datorseende, fungerar dåligt här eftersom instrumenten är långa och tunna — en ruta runt dem täcker mycket irrelevant yta och överlappar andra verktyg.

En streckgubbesyn på kirurgiska instrument

Författarna argumenterar för en annan synvinkel: istället för att måla varje pixel, beskriv varje instrument som en enkel ”streckgubbe” bestående av ett fåtal nyckelpunkter förbundna med raka linjer. I deras ROBUST-MIPS-dataset är varje verktyg i varje bild annoterat med fyra standardpositioner: där det går in i kamerans synfält (inträdespunkten), där skaftet möter det rörliga eller fasta spetsen (gångjärnet) och upp till två möjliga spetspositioner. Denna design fungerar både för styva verktyg, som sonder, och för lederade verktyg, som gripare och saxar. För verktyg som bara har en spets, eller verktyg vars spetsar överlappar eller försvinner ur bild, markeras den extra punkten som saknad men behålls i samma format, så att algoritmer alltid ser en konsekvent struktur.

Hantera dolda och tvetydiga delar

Verkliga operationer är stökiga, och delar av ett instrument är ofta dolda bakom vävnad, utanför kamerans cirkulära vy eller helt utanför bild. För att hantera detta lägger teamet till en synlighetsbetäckning för varje nyckelpunkt: klart synlig, dold men kan med säkerhet uppskattas, eller helt okänd. Till exempel, om endast skaftet är synligt markeras spetspositionerna som saknade; om en spets är bakom vävnad men dess position kan härledas från det synliga skaftet och verktygets form markeras den som ockluderad med uppskattade koordinater. Författarna tillåter till och med annoterare att placera punkter strax utanför bildkanten när instrumentet uppenbart fortsätter utanför ramen, vilket säkerställer att ”streckgubben” förblir sammanhängande även när endast en del av den är synlig.

Bygga och dela en rik träningsmiljö

ROBUST-MIPS är byggt ovanpå ett tidigare mycket använt dataset kallat ROBUST-MIS, som innehåller 10 040 frames från 30 kolorektala operationer. Varje frame hade redan detaljerade verktygsmasker; det nya arbetet lägger till skelettliknande etiketter och städar upp maskerna genom att ta bort statiska kameraportaler som inte rör sig och inte hjälper med verktygsspårning. Varje frame paketeras med originalbilden, en förfinad mask som endast inkluderar de aktiva verktygen, och en fil som beskriver nyckelpunkterna, deras synlighet och hur de kopplas ihop. Författarna konverterar denna information till ett populärt standardformat, ursprungligen utvecklat för mänsklig pose, så att många befintliga algoritmer kan använda datan med minimalt extra arbete.

Sätta datasetet på prov

För att visa att dessa annotationer inte bara är snygga på papper tränar teamet flera ledande pose-estimeringsmodeller — ursprungligen designade för att spåra mänskliga leder — för att istället följa kirurgiska verktyg. I detta sammanhang behandlas varje verktygspunkt som en mänsklig led. Eftersom de två spetsarna på många instrument är utbytbara anpassar författarna den vanliga scoringsmetoden för att betrakta byte av spetsarna som ofarligt snarare än ett misstag. De anpassar också hur storlek mäts så att långa, tunna verktyg bedöms rättvist, oavsett hur de roteras i bilden. Över tusentals osedda bilder uppnår modellerna hög noggrannhet, vilket tyder på att ett fåtal välvalda punkter räcker för pålitlig lokalisering, även i närvaro av rök, blod, bländning och överlappande instrument.

Vad detta betyder för framtidens kirurgi

ROBUST-MIPS visar att att representera kirurgiska instrument som enkla skelettliknande konturer kan ge rik, praktisk information till en bråkdel av kostnaden för pixelvisa masker. Genom att släppa datasetet, den specialanpassade annoteringsprogramvaran och färdiga benchmark-modeller ger författarna forskarsamhället en stabil grund för att bygga smartare system som robust spårar verktyg över olika patienter och procedurer. På sikt kan sådana kapaciteter bidra till säkrare navigering, realtidskontroller av säkerhet och mer intuitiv automation i operationssalen.

Citering: Han, Z., Budd, C., Zhang, G. et al. ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments. Sci Data 13, 684 (2026). https://doi.org/10.1038/s41597-026-06938-5

Nyckelord: spårning av kirurgiska verktyg, laparoskopisk kirurgi, pose-estimering, medicinskt bilddatamängd, datorstödd kirurgi