Alanda bağımsız zayıf denetimli cerrahi alet segmentasyonu

Cerrahi aletlerin daha akıllıca görülmesi neden önemli

Günümüz cerrahları giderek daha fazla kamera, mikroskop ve gelişmiş tarayıcılarla çalışıyor. Robotları yönlendirmek, 3B görünümleri hizalamak veya belirli görüntülerden aletleri gizlemek için bilgisayarların her karedeki tüm cerrahi aletleri güvenilir şekilde bulması—segmentasyon olarak adlandırılan bir görev—gerekir. Bugün bu genellikle tıbbi uzmanlardan binlerce zahmetli, piksel düzeyinde etiketleme ister ve yine de görüntüleme düzeni veya prosedür değiştiğinde sistemler sık sık bozulur. Bu çalışma, güçlü görsel modellerin farklı türde tıbbi görüntülerde aletleri önceden her bir aracın ayrıntılı çizimini gerektirmeden bulmasını sağlayan bir yöntem sunuyor.

Birçok görüntü türünde aletleri bulmanın zorluğu

Cerrahlar çok çeşitli görüntüleme sistemleri kullanıyor: karın içindeki laparoskopik kameralardan alınan renkli videolar, katarakt cerrahisi sırasında göze ait mikroskop görüntüleri ve optik koherens tomografi (OCT) veya ultrason gibi kesitsel taramalar. Her birinde cerrahi aletler oldukça farklı görünür—renkli görüntülerde parlak metal çubuklar, OCT’te ince parlak çizgiler veya hilaller, ultrason görüntülerinde ise benekli kütleler gibi. Mevcut derin öğrenme yöntemleri çok iyi çalışabilir, ancak yalnızca belirli bir ortama ait büyük, dikkatle etiketlenmiş veri kümeleri üzerinde eğitildiklerinde. Görüntüleme cihazı, anatomi veya alet tipi değiştiğinde performans sıklıkla keskin şekilde düşer ve yeni anotasyon toplamak yavaş, pahalıdır ve gizlilik ile uzmanlık kısıtlarına bağlıdır.

Yeni bir fikir: aletleri yerinden çıkmış nesneler gibi ele almak

Yazarlar SAM4SIS adını verdikleri ve problemi tersine çeviren bir yöntem öneriyor. Sisteme her bir aletin tam olarak nasıl göründüğünü öğretmek yerine, önce hiç alet içermeyen görüntüleri gösteriyorlar ve böylece sistemin “normal” dokunun nasıl göründüğünü öğrenmesine izin veriyorlar. Bu normal desenlerin bir hafızasını oluşturmak için PatchCore adlı bir anomali dedektörü kullanıyorlar. Yeni bir görüntü geldiğinde, PatchCore bu hafızaya uymayan bölgeleri—muhtemel cerrahi alet içeren alanları—vurguluyor. Bu adım, aletin var olup olmadığına dair basit görüntü düzeyinde bilgi dışında piksel düzeyinde çizimler gerektirmiyor ve kurulumun çok daha kolay olmasını sağlıyor.

Kabaca ipuçlarından keskin konturlara

Anomali haritaları kaba olduğundan, ekip bunları nesnenin içindeki bir nokta verildiğinde keskin konturlar çizebilen güçlü bir temel model olan Segment Anything Model 2 (SAM2) ile birleştiriyor. Ana hile, insanın tıklaması yerine bu noktaları otomatik olarak anomali haritasından seçmek. Yazarlar, sıradan renkli görüntüler ve OCT gibi yoğunluk bazlı taramalar için gölgelere ve parlak artefaktlara karşı baskılama yaparken alet içerebilecek alanları güçlendiren filtreler tasarlıyorlar. Ardından potansiyel alet bölgelerini puanlayıp en güçlü noktaları SAM2 için istem (prompt) olarak seçiyorlar. SAM2 birkaç aday kontur döndürdüğü için, yazarlar her adayın anomali tabanlı harita ile ne kadar iyi uyuştuğunu ölçen ve en iyi uyumu seçen yeni bir puanlama kuralı, SAM4SIS, tanıtıyorlar.

Birçok ameliyat ve tarayıcıda işe yarıyor

Araştırmacılar yaklaşımını üç zorlu veri kümesinde test ediyor: karın robotik cerrahisi videoları (EndoVis2017), katarakt operasyonlarının mikroskop görüntüleri (CaDIS) ve minik aletlerle yapılan domuz gözü kesitsel OCT taramaları (PASO-SIS). Bunlar çok farklı görüş açıları, renkler ve gürültü desenlerini kapsıyor. Büyük segmentasyon modelini yeniden eğitmeden veya yeni maskeler çizmeden, SAM4SIS sınır-hassasiyet puanlarını yaklaşık %53 ile %73 arasında elde ederek metin tabanlı yönlendirme yöntemleriyle rekabet ediyor veya onları geride bırakıyor ve bazı denetimli sistemlere yaklaşıyor. Özellikle OCT ve ultrason verilerinde geleneksel yöntemlerin zorlandığı yerlerde iyi performans gösteriyor ve kurulum süresi bir dakikadan az. Ekip ayrıca aynı fikrin beyin ultrasonu görüntülerindeki pamuk topları gibi diğer yabancı nesneleri de vurgulayabildiğini göstererek kavramın yalnızca aletlerle sınırlı olmadığını öne sürüyor.

Geleceğin akıllı cerrahisi için anlamı

Okuyucu için temel mesaj şudur: Bilgisayarlar artık önce normal dokunun nasıl göründüğünü öğrenip ardından tanıdık olmayan şekilleri muhtemel aletler olarak işaretleyerek cerrahi sahnelerde “yeni herhangi bir şeyi segmentleyebilmeyi” öğrenebiliyor; bu şekiller daha sonra genel amaçlı bir görsel model tarafından rafine ediliyor. Bu yaklaşım ağır etiketleme işinden kaçınıyor, farklı görüntüleme teknolojilerine uyum sağlıyor ve cerrahi iş akışlarına minimum hazırlıkla entegre edilebiliyor. Bol etiketlenmiş veri olduğunda dikkatle eğitilmiş, uzmanlaşmış modeller hâlâ üstün olsa da, SAM4SIS yeni prosedürler, nadir görüntüleme düzenekleri veya erken aşama araştırmalar için pratik bir alternatif sunarak güvenilir, otomatik alet tespitini günlük klinik gerçekliğe daha yakın hale getiriyor.

Atıf: Peter, R., Pham, D.X.V., Matten, P. et al. Domain-agnostic weakly supervised surgical instrument segmentation. Sci Rep 16, 9337 (2026). https://doi.org/10.1038/s41598-026-43054-1

Anahtar kelimeler: cerrahi alet segmentasyonu, tıbbi görüntüleme yapay zekâsı, anomali tespiti, temel görsel modeller, robotik cerrahi