ROBUST-MIPS: Een gecombineerde skeletpose- en instance-segmentatie-dataset voor laparoscopische chirurgische instrumenten

Slimmere blik op chirurgische instrumenten

Keyhole-chirurgie steunt op lange, slanke instrumenten die door camera’s in het lichaam worden geleid. Om computers chirurgen te helpen — door instrumenten te volgen, te waarschuwen voor gevaarlijke zones of zelfs camera’s te besturen — moeten ze eerst precies weten waar elk instrument zich bevindt en hoe het georiënteerd is. Dit artikel introduceert ROBUST-MIPS, een grote, zorgvuldig gelabelde beeldverzameling die algoritmen leert chirurgische instrumenten efficiënter en nauwkeuriger te volgen, en daarmee de weg vrijmaakt voor veiligere en meer geautomatiseerde operaties.

Waarom het volgen van instrumenten in het lichaam moeilijk is

Tijdens minimaal invasieve chirurgie toont de camera een cirkelvormig venster op een druk, bewegend tafereel: weefsel, bloed, rook, schittering en meerdere overlappende instrumenten. Veel onderzoeksgroepen hebben geprobeerd deze scènes door computers te laten begrijpen door elk pixel dat bij een instrument hoort te markeren, een proces dat segmentatie wordt genoemd. Hoewel zeer gedetailleerd, zijn zulke pixel-perfecte omtrekken traag en vermoeiend voor mensen om te tekenen, en vangen ze niet altijd de meest nuttige informatie om te weten waar een instrument begint, buigt en eindigt. Eenvoudige rechthoeken, zoals vaak gebruikt in computer vision, presteren hier slecht omdat instrumenten lang en dun zijn; een doos errond bedekt veel irrelevante ruimte en overlapt vaak met andere instrumenten.

Een stokfiguurvisie op chirurgische instrumenten

De auteurs pleiten voor een andere invalshoek: in plaats van elke pixel in te kleuren, beschrijf elk instrument als een eenvoudige “stokfiguur” bestaande uit een paar sleutelpunten verbonden door rechte lijnen. In hun ROBUST-MIPS-dataset is elk instrument in elke afbeelding gelabeld met vier standaardlocaties: waar het het cameraveld binnenkomt (het instappunt), waar de schacht het beweegbare of stijve uiteinde ontmoet (het scharnier), en maximaal twee mogelijke tipposities. Dit ontwerp werkt voor zowel stijve instrumenten, zoals sondes, als voor gewrichtsachtige instrumenten, zoals grijpers en scharen. Voor instrumenten met slechts één tip, of instrumenten waarvan de tips overlappen of uit beeld verdwijnen, wordt het extra punt als ontbrekend gemarkeerd maar in hetzelfde formaat bewaard, zodat algoritmen altijd een consistente structuur zien.

Omgaan met verborgen en ambiguë delen

Reële operaties zijn rommelig en delen van een instrument zijn vaak verborgen achter weefsel, buiten het cirkelvormige zicht van de camera, of geheel buiten beeld. Om hiermee om te gaan voegt het team een zichtbaarheidsetiket toe aan elk sleutelpunt: duidelijk zichtbaar, verborgen maar met vertrouwen te gokken, of volledig onbekend. Bijvoorbeeld: als alleen de schacht zichtbaar is, worden de tiplocaties als ontbrekend gemarkeerd; als een tip achter weefsel zit maar zijn positie kan worden afgeleid uit de zichtbare schacht en de vorm van het instrument, wordt deze gemarkeerd als geoccludeerd met geschatte coördinaten. De auteurs laten annotatoren zelfs punten net buiten de beeldrand plaatsen wanneer het instrument duidelijk buiten beeld doorloopt, zodat de “stokfiguur” verbonden blijft, zelfs wanneer slechts een deel zichtbaar is.

Een rijk trainingsveld opbouwen en delen

ROBUST-MIPS bouwt voort op een eerder veelgebruikte dataset genaamd ROBUST-MIS, die 10.040 frames bevat uit 30 colorectale operaties. Elk frame had al gedetailleerde instrumentmasks; het nieuwe werk voegt de skeletlabels toe en maakt de masks schoon door statische camerapoorten te verwijderen die niet bewegen en niet helpen bij het volgen van instrumenten. Elk frame wordt geleverd met de originele afbeelding, een verfijnd mask dat alleen de actieve instrumenten bevat, en een bestand dat de sleutelpunten, hun zichtbaarheid en hun verbindingen beschrijft. De auteurs zetten deze informatie om naar een populair standaardformaat, oorspronkelijk ontwikkeld voor menselijke poses, zodat veel bestaande algoritmen de data met minimale extra inspanning kunnen gebruiken.

De dataset op de proef stellen

Om aan te tonen dat deze annotaties niet alleen op papier nuttig zijn, traint het team meerdere toonaangevende pose-schattingmodellen — oorspronkelijk ontworpen om menselijke gewrichten te volgen — om chirurgische instrumenten te volgen. In deze opzet wordt elk instrumentpunt behandeld als een menselijk gewricht. Omdat de twee tips van veel instrumenten onderling uitwisselbaar zijn, passen de auteurs de gebruikelijke scoremethode aan zodat het verwisselen van de tips als onschadelijk wordt gezien in plaats van als fout. Ze passen ook de maat voor grootte aan zodat lange, dunne instrumenten eerlijk worden beoordeeld, ongeacht hun rotatie in het beeld. Over duizenden ongeziene afbeeldingen behalen de modellen sterke nauwkeurigheid, wat suggereert dat een handvol goed gekozen punten voldoende is voor betrouwbare lokalisatie, zelfs bij rook, bloed, schittering en overlappende instrumenten.

Wat dit betekent voor toekomstige chirurgie

ROBUST-MIPS toont aan dat het representeren van chirurgische instrumenten als eenvoudige skeletomtrekken rijke, praktische informatie kan bieden voor een fractie van de labelkosten van pixel-precisie masks. Door de dataset, de aangepaste labelsoftware en kant-en-klare benchmarkmodellen vrij te geven, geven de auteurs de gemeenschap een solide basis voor het bouwen van slimere systemen die instrumenten robuust volgen over verschillende patiënten en procedures. Op de lange termijn zouden dergelijke mogelijkheden kunnen bijdragen aan veiligere navigatie, realtime veiligheidscontroles en meer intuïtieve automatisering in de operatiekamer.

Bronvermelding: Han, Z., Budd, C., Zhang, G. et al. ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments. Sci Data 13, 684 (2026). https://doi.org/10.1038/s41597-026-06938-5

Trefwoorden: tracking van chirurgische instrumenten, laparoscopische chirurgie, pose-schatting, medische beeldvorming dataset, computerondersteunde chirurgie