ROBUST-MIPS: Laparoskopik Cerrahi Aletleri için Kombine İskelet Pozu ve Örnek Segmentasyonu Veri Kümesi

Cerrahi Aletlere Daha Akıllı Bakış

Kapı deliği cerrahisi, vücut içine yerleştirilen kameralarla yönlendirilen uzun, ince aletlere dayanır. Bilgisayarların cerrahlara yardımcı olabilmesi — aletleri izlemek, tehlikeli bölgeler konusunda uyarmak veya hatta kameraları yönlendirmek gibi — önce her bir aletin tam olarak nerede olduğunu ve nasıl yönlendiğini bilmesini gerektirir. Bu yazı, algoritmalara cerrahi aletleri daha verimli ve doğru şekilde izlemeyi öğreten, büyük ve özenle etiketlenmiş bir görüntü koleksiyonu olan ROBUST-MIPS’i tanıtıyor; bu da daha güvenli ve daha otomatik operasyonlara giden yolu açıyor.

Aletleri Vücut İçinde İzlemenin Zor Olmasının Nedenleri

Minimal invaziv cerrahide kamera, doku, kan, duman, parlama ve birbiri üzerine binen birkaç aletin olduğu kalabalık, sürekli değişen bir sahneye dairesel bir pencere gösterir. Birçok araştırma grubu, bu sahneleri bilgisayarların anlamasını sağlamak için her pikseli alete ait olup olmadığına göre işaretleyerek segmentasyon yapmayı denedi. Piksel düzeyinde ayrıntılı olsa da, bu tür kusursuz konturlar çizmek insanlar için yavaş ve yorucu ve ayrıca bir aletin nerede başladığı, nerede büküldüğü ve nerede bittiği gibi en yararlı bilgileri her zaman yakalamıyor. Günlük bilgisayarlı görüde sık kullanılan basit dikdörtgenler burada kötü performans gösterir çünkü aletler uzun ve incedir; etraflarını saran bir kutu çok fazla alakasız alanı kapsar ve diğer aletlerle örtüşür.

Cerrahi Aletlerin Çöp Adam Görünümü

Yazarlar farklı bir bakış açısı savunuyor: her pikseli boyamak yerine, her aleti birkaç ana noktadan oluşan ve düz çizgilerle bağlanan basit bir "çöp adam" olarak tanımlamak. ROBUST-MIPS veri kümesinde, her görüntüdeki her alet dört standart konumla etiketleniyor: kameranın görüş alanına giriş noktası (giriş noktası), sap ile hareketli veya sert uç arasındaki bağlantı (mafsal) ve en fazla iki olası uç konumu. Bu tasarım prob gibi sert aletler ve pens veya makas gibi eklemli aletler için işe yarıyor. Sadece tek uca sahip aletler veya uçları örtüşen ya da görüntüden kaybolan aletler için ek nokta eksik olarak işaretlenir fakat aynı format korunur, böylece algoritmalar her zaman tutarlı bir yapı görür.

Gizli ve Belirsiz Parçalarla Başa Çıkma

Gerçek operasyonlar karmaşıktır ve bir aletin parçaları sıklıkla doku arkasında, kameranın dairesel görüş alanının dışında veya tamamen ekran dışı olabilir. Bunu ele almak için ekip her ana noktaya bir görünürlük etiketi ekliyor: açıkça görünür, gizlenmiş ama güvenle tahmin edilebilir veya tamamen bilinmiyor. Örneğin, sadece sap görünüyorsa uç konumları eksik olarak işaretlenir; bir uç doku arkasındaysa ancak konumu görünür sap ve aletin şekliyle çıkarılabiliyorsa, tahmini koordinatlarla örtülü (occluded) olarak işaretlenir. Yazarlar ayrıca etiketleyicilerin, aletin açıkça çerçeve dışında devam ettiği durumlarda noktaları görüntü sınırının hemen ötesine yerleştirmesine izin veriyor; bu, yalnızca bir kısmı görünür olsa bile "çöp adam"ın bağlantılı kalmasını sağlıyor.

Zengin Bir Eğitim Alanı Oluşturma ve Paylaşma

ROBUST-MIPS, daha önce yaygın kullanılan ROBUST-MIS adlı veri kümesi üzerine inşa edildi; bu küme 30 kolorektal cerrahiden 10.040 kare içeriyor. Her kare zaten ayrıntılı alet maskeleri ile geliyordu; yeni çalışma iskelet etiketlerini ekliyor ve hareket etmeyen, alet takibine yardımcı olmayan sabit kamera portlarını maskelerden temizleyerek düzenliyor. Her kare orijinal görüntü, yalnızca aktif aletleri içeren rafine edilmiş bir maske ve ana noktaları, görünürlüklerini ve nasıl bağlandıklarını tanımlayan bir dosya ile paketleniyor. Yazarlar bu bilgiyi insan pozu için geliştirilmiş popüler bir standart formata dönüştürüyorlar, böylece birçok mevcut algoritma verilere minimum ek çalışma ile erişebiliyor.

Veri Kümesini Test Etme

Bu açıklamaların kağıt üzerinde güzel görünmekle kalmadığını göstermek için ekip, insan eklemlerini izlemek üzere tasarlanmış önde gelen birkaç poz tahmin modeli eğiterek cerrahi aletleri izlemeye uyguluyor. Bu ayarda her alet noktası bir insan eklemi gibi muamele görüyor. Birçok aletin iki ucu birbirinin yerine geçebilir olduğundan, yazarlar yaygın değerlendirme yöntemini uçların yer değiştirmesini zararsız (hata sayılmayacak) olarak kabul edecek şekilde özelleştiriyor. Ayrıca uzun, ince aletlerin görüntüde nasıl döndüğüne bakılmaksızın adil biçimde değerlendirilebilmesi için boyut ölçümünü de uyarlıyorlar. Binlerce görülmemiş görüntü genelinde modeller güçlü doğruluk sergiliyor; bu da duman, kan, parlama ve örtüşen aletler gibi zorluklar var olsa bile birkaç iyi seçilmiş noktanın güvenilir yerelleştirme için yeterli olduğunu öne sürüyor.

Gelecek Cerrahi İçin Ne Anlama Geliyor

ROBUST-MIPS, cerrahi aletleri basit iskelet konturları olarak temsil etmenin, piksel düzeyindeki maskelerin etiketleme maliyetinin çok altında zengin ve pratik bilgiler sağlayabileceğini gösteriyor. Veri kümesini, özel etiketleme yazılımını ve kullanıma hazır kıyaslama modellerini yayımlayarak yazarlar topluluğa farklı hastalar ve prosedürler arasında aletleri sağlam şekilde takip eden daha akıllı sistemler geliştirmek için sağlam bir temel sunuyor. Uzun vadede bu tür yetenekler, ameliyathanede daha güvenli navigasyon, gerçek zamanlı güvenlik kontrolleri ve daha sezgisel otomasyonun güçlendirilmesine yardımcı olabilir.

Atıf: Han, Z., Budd, C., Zhang, G. et al. ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments. Sci Data 13, 684 (2026). https://doi.org/10.1038/s41597-026-06938-5

Anahtar kelimeler: cerrahi alet takibi, laparoskopik cerrahi, poz tahmini, tıbbi görüntü veri kümesi, bilgisayar destekli cerrahi