ROBUST-MIPS : un jeu de données combinant pose squelettique et segmentation d’instances pour instruments chirurgicaux laparoscopiques

Des yeux plus intelligents pour les outils chirurgicaux

La chirurgie à trou de serrure repose sur des instruments longs et fins guidés par des caméras à l’intérieur du corps. Pour qu’un ordinateur assiste le chirurgien — en suivant les outils, en prévenant des zones à risque ou même en dirigeant la caméra — il faut d’abord savoir exactement où se trouve chaque instrument et comment il est orienté. Cet article présente ROBUST-MIPS, une vaste collection d’images soigneusement annotées qui apprend aux algorithmes à suivre les instruments chirurgicaux de façon plus efficace et plus précise, ouvrant la voie à des opérations plus sûres et plus automatisées.

Pourquoi il est difficile de suivre les outils à l’intérieur du corps

Lors d’une chirurgie mini-invasive, la caméra offre une fenêtre circulaire sur une scène encombrée et changeante : tissu, sang, fumée, reflets et plusieurs instruments qui se chevauchent. De nombreux groupes de recherche ont tenté de faire comprendre ces scènes aux ordinateurs en étiquetant chaque pixel appartenant à un outil, un processus appelé segmentation. Bien que très détaillés, ces contours au pixel près sont longs et fatigants à dessiner pour des humains, et n’identifient pas toujours l’information la plus utile pour savoir où un outil commence, se plie et se termine. Les simples rectangles, courants en vision par ordinateur, sont peu adaptés ici car les instruments sont longs et fins : une boîte autour d’eux couvre beaucoup de zones non pertinentes et chevauche d’autres outils.

Une vue en stick-figure des instruments chirurgicaux

Les auteurs proposent un autre point de vue : au lieu de colorier chaque pixel, décrire chaque instrument comme une « stick-figure » simple composée de quelques points clefs reliés par des lignes droites. Dans leur jeu de données ROBUST-MIPS, chaque outil sur chaque image est annoté avec quatre emplacements standard : le point d’entrée dans le champ de la caméra (point d’entrée), l’endroit où le manche rencontre l’extrémité mobile ou rigide (charnière), et jusqu’à deux positions possibles pour la(les) pointe(s). Cette conception fonctionne pour les outils rigides, comme les sondes, et pour les instruments articulés, comme les pinces et les ciseaux. Pour les outils n’ayant qu’une seule pointe, ou dont les pointes se chevauchent ou disparaissent de la vue, le point supplémentaire est marqué comme manquant mais conservé dans le même format, de sorte que les algorithmes voient toujours une structure cohérente.

Gérer les parties cachées et ambiguës

Les opérations réelles sont désordonnées, et des parties d’un instrument sont souvent cachées derrière le tissu, hors de la vue circulaire de la caméra, ou complètement hors-champ. Pour gérer cela, l’équipe ajoute une étiquette de visibilité à chaque point clef : clairement visible, caché mais estimable de façon fiable, ou totalement inconnu. Par exemple, si seul le manche est visible, les positions des pointes sont marquées comme manquantes ; si une pointe est derrière le tissu mais que sa position peut être déduite à partir du manche visible et de la forme de l’outil, elle est marquée comme occultée avec des coordonnées estimées. Les auteurs autorisent même les annotateurs à placer des points légèrement au-delà de la bordure de l’image lorsque l’instrument se poursuit manifestement hors-champ, garantissant que la « stick-figure » reste connectée même lorsque seule une partie est visible.

Construire et partager un terrain d’entraînement riche

ROBUST-MIPS est construit sur un jeu de données antérieur largement utilisé, appelé ROBUST-MIS, qui contient 10 040 images extraites de 30 interventions colorectales. Chaque image comportait déjà des masques d’outils détaillés ; le nouveau travail ajoute les étiquettes squelettiques et nettoie les masques en supprimant les ports de caméra fixes qui ne bougent pas et n’aident pas au suivi des outils. Chaque image est fournie avec l’image d’origine, un masque affiné n’incluant que les outils actifs, et un fichier décrivant les points clefs, leur visibilité et leurs connexions. Les auteurs convertissent ces informations dans un format standard populaire, initialement développé pour la pose humaine, afin que de nombreux algorithmes existants puissent utiliser les données avec un minimum d’efforts supplémentaires.

Mettre le jeu de données à l’épreuve

Pour montrer que ces annotations ne sont pas qu’élégantes sur le papier, l’équipe entraîne plusieurs modèles d’estimation de pose de pointe — conçus à l’origine pour suivre les articulations humaines — à suivre des instruments chirurgicaux. Dans ce cadre, chaque point d’outil est traité comme une articulation humaine. Parce que les deux pointes de nombreux instruments sont interchangeables, les auteurs adaptent la méthode d’évaluation habituelle pour considérer l’échange des pointes comme sans conséquence, plutôt que comme une erreur. Ils ajustent également la façon de mesurer la taille afin que les outils longs et fins soient jugés équitablement, quelle que soit leur rotation dans l’image. Sur des milliers d’images inédites, les modèles atteignent une forte précision, suggérant qu’une poignée de points bien choisis suffit pour une localisation fiable, même en présence de fumée, de sang, de reflets et d’instruments qui se chevauchent.

Qu’est-ce que cela signifie pour la chirurgie future

ROBUST-MIPS montre que représenter les instruments chirurgicaux par de simples contours squelettiques peut fournir une information riche et utile à une fraction du coût d’annotation des masques au pixel près. En publiant le jeu de données, le logiciel d’annotation personnalisé et des modèles de référence prêts à l’emploi, les auteurs offrent à la communauté une base solide pour construire des systèmes plus intelligents capables de suivre les outils de façon robuste à travers différents patients et procédures. À long terme, de telles capacités pourraient contribuer à une navigation plus sûre, à des contrôles de sécurité en temps réel et à une automatisation plus intuitive en salle d’opération.

Citation: Han, Z., Budd, C., Zhang, G. et al. ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments. Sci Data 13, 684 (2026). https://doi.org/10.1038/s41597-026-06938-5

Mots-clés: suivi d’instrument chirurgical, chirurgie laparoscopique, estimation de pose, jeu de données d’imagerie médicale, chirurgie assistée par ordinateur