Derin bölünmüş konvolüsyon ve çok boyutlu dönüştürücülerle çift dallı dikkat ağı ile tıbbi görüntü segmentasyonu

Doktorlar için daha net görüntüler

Modern taramalar tümörleri, tıkalı damarları ve hasarlı organları çarpıcı ayrıntıyla gösterebiliyor, ancak bu gri-beyaz görüntüleri bilgisayarın anlayabileceği net sınır çizgilerine dönüştürmek hâlâ şaşırtıcı derecede zor. Cerrahi planlama, tedavi takibi ve hatalardan kaçınma için doktorların organlar ve hasta dokular etrafında kesin sınırları olması gerekiyor. Bu çalışma, D3T-Net adını verdiği yeni bir yapay zeka sistemi sunuyor; bu sistem bu sınırları birçok önde gelen yönteme göre daha doğru ve daha güvenilir şekilde çizebiliyor; bu da radyologların iş yükünü hafifletebilir ve tanısal güveni artırabilir.

Tıbbi taramalarda çizgi çizmenin neden bu kadar zor olduğu

Bir radyolog CT veya röntgen görüntüsüne baktığında örtüşen yapıları zihnen ayırır, gürültüyü görmezden gelir ve eksik kenarları çıkarır. Geleneksel bilgisayar programları bununla özellikle organ şekilleri kişiden kişiye değiştiğinde veya bir tümörün sınırı bulanıksa zorlanır. Konvolüsyonel sinir ağlarına dayanan önceki sistemler yerel dokuları ve kenarları yakalamada başarılıdır, ancak genellikle yalnızca küçük bir komşuluğu görürler. Bu, örneğin soluk bir tümör kenarını normal dokuya göre ayırt etmek için gereken daha geniş bağlamın kaçırılmasını kolaylaştırır. Öte yandan, daha yeni "Transformer" modelleri tüm görüntü genelinde uzun menzilli ilişkileri yakalamada iyidir, ancak genellikle küçük lezyonlar veya ince sınırlar gibi ince ayrıntılara göz atma eğilimindedirler.

Görmenin iki tamamlayıcı yolu

D3T-Net bu zorluğun üstesinden gelmek için her iki görme biçimini tek, sıkı bir şekilde koordine edilmiş bir ağda birleştirir. Bir dal geleneksel bir görüntü analizörü gibi davranır; küçük yamalara odaklanarak ince dokuları ve keskin kenarları yakalar. Bu dal bir "derin bölünme" stratejisi kullanır: gelen görüntü özellikleri birden çok paralel akıma ayrılır, ayrı ayrı işlenir ve hangi akımların en yararlı yapısal bilgiyi taşıdığına karar veren bir dikkat mekanizmasıyla birleştirilir. Diğer dal ise daha çok küresel bir gözlemci gibi davranır; Transformer- tarzı dikkat kullanarak görüntünün uzak parçalarını karşılaştırır ve bölgelerin birbirleriyle nasıl ilişkili olduğunu anlar. Sadece görüntü düzlemi boyunca değil, aynı zamanda özellik kanalları boyunca da bakarak hem nesnelerin nerede olduğunu hem de görünüm desenlerinin nasıl birlikte ortaya çıktığını yakalayabilir.

Her iki dalı işbirliği yapmaya yönlendirmek

İki dalı paralel çalıştırmak tek başına yeterli değildir; bunlar bilgiyi akıllıca değiş tokuş etmelidir. D3T-Net’in kodlayıcı bölümünde özel bir etkileşim modülü, görüntü boyunca çoklu yönlerden gelen desenleri inceler; havuzlama ve dikkat kullanarak en bilgilendirici yapıları—örneğin organ sınırları veya lezyon çekirdekleri—vurgular ve bu vurguyu yerel ve küresel dallar arasında paylaşır. Son segmentasyon haritasının derlendiği çözücü bölümünde ise çapraz-dikkat mekanizması her bir dalın öğrendiklerini nasıl birleştireceğini öğrenir; böylece küresel bağlam yerel kenarları keskinleştirir, yerel ayrıntı ise geniş küresel resmi zenginleştirir. Çok ölçekli atlama bağlantıları, erken, yüksek çözünürlüklü işleme aşamalarından gelen bilgileri daha sonraki aşamalara doğrudan taşır; bu da sistemin aksi takdirde kaybolabilecek küçük nesneleri ve hassas sınırları takip etmesine yardımcı olur.

Organlar, cilt ve akciğerlerde test

Araştırmacılar D3T-Net’i üç çok farklı tıbbi görevde test ettiler: BT taramalarında karın organlarının sınırlarını belirleme, klinik fotoğraflarda cilt lezyonlarını izleme ve göğüs röntgenlerinde akciğer segmentasyonu. Standart doğruluk ve sınır keskinliği ölçütlerinde D3T-Net, iyi bilinen U-Net varyantları ve Transformer tabanlı hibritler dahil olmak üzere geniş bir ileri teknoloji sistem grubunu tutarlı şekilde geride bıraktı. Özellikle organ konturlarını süreklilik içinde tutma, bitişik yapıları doğru şekilde ayırma ve safra kesesi ya da düzensiz cilt lezyonları gibi küçük ya da düşük kontrastlı hedefleri yakalama konusunda güçlüydü. Önemli olarak, bu kazanımlar aşırı bir hesaplama süresi artışı olmadan elde edildi: modelin işlem maliyeti pek çok yaygın ağla karşılaştırılabilir kaldı ve bu da klinik uygulama için makul kılıyor.

Bu hastalar ve klinisyenler için ne anlama geliyor

Basitçe söylemek gerekirse, çalışma bir algoritmanın aynı anda hem yerel hem de küresel olarak "düşünmesine" izin vermenin tıbbi görüntülerde organların ve hastalığın daha temiz sınırlarını ürettiğini gösteriyor. Ayrıntı odaklı bir dalı bağlam farkındalığına sahip bir dal ile dikkatle koordine ederek, D3T-Net sağlıklı ve hasta dokuyu birçok mevcut araçtan daha doğru şekilde ayırabiliyor. Radyologların yerini almayacak olsa da, otomatik olarak ön segmentasyon yapma, ince lezyonları işaretleme ve 3B planlama veya tedavi izlemi gibi sonraki görevler için daha güvenilir maskeler sağlama konusunda güçlü bir yardımcı olabilir. Benzer çift görüşlü tasarımlar diğer görüntüleme sorunlarına uygulandıkça, hastalar daha hızlı, daha tutarlı ve daha kişiselleştirilmiş bakımdan fayda sağlayabilir.

Atıf: Li, D., Yuan, C., Yao, Y. et al. Dual-branch attention network with deep split convolution and multi-dimensional transformers for medical image segmentation. Sci Rep 16, 14238 (2026). https://doi.org/10.1038/s41598-026-44413-8

Anahtar kelimeler: tıbbi görüntü segmentasyonu, derin öğrenme, dönüştürücü ağlar, karaciğer ve organ analizi, bilgisayar destekli tanı