Двухканальная частотно-пространственная сеть восприятия для эффективной и точной сегментации медицинских изображений

Более острое компьютерное зрение для медицинских снимков

Когда врач рассматривает пятно на коже, УЗИ молочной железы или КТ‑снимок, по сути он задаёт один сложный вопрос: где именно находится патология, а где — здоровая ткань? Ответ часто даёт программное обеспечение, которое выделяет подозрительные области на изображении — процесс, называемый сегментацией. В этой статье представлен новый искусственный интеллект, FDE‑Net, который более точно проводит такие границы при разумных вычислительных затратах, что делает его более пригодным для практического использования в больницах.

Почему стандартные инструменты пропускают мелкие детали

Большинство современных инструментов для медицинской визуализации опираются на «U‑образные» нейронные сети, такие как широко известный U‑Net, которые сжимают изображение, чтобы извлечь смысл, а затем разворачивают его обратно, чтобы нарисовать маску целевой области. Эти сети хорошо улавливают резкие края и текстуры, но при сжатии они склонны обрабатывать все участки изображения одинаково. В результате слабые или крошечные поражения могут исчезать, особенно если они сливаются со сложным фоном — соседними органами или тканью. Существующие методы также в основном работают в пространстве пикселей и игнорируют дополнительный взгляд: как содержание изображения распределено по разным частотам — от широких плавных форм до тонких деталей.

Прослушивание изображений в разных «тонах»

FDE‑Net начинает с обработки медицинского изображения подобно аудиосигналу: он разделяет картинку на низкочастотные компоненты, описывающие общую структуру, и высокочастотные, содержащие края и мелкие детали. Блок извлечения низкочастотной информации фокусируется на низких частотах, которые несут важную информацию о форме и расположении органов и поражений, но часто замазаны фоном. Отдельный модуль, называемый Подавлением Низкооткликаемых Областей в Частотной Области, обучается ослаблять низкочастотные регионы, похожие на неинформативный фон, и усиливать области, более вероятно содержащие патологию. Затем сеть заново сочетает очищенные низко‑ и высокочастотные компоненты, давая последующим слоям более чёткое и сфокусированное представление о важных признаках.

Увидеть и общую картину, и крошечные поражения

В центральной «бутылочной» части U‑образной архитектуры FDE‑Net использует многоголовый перцептивный модуль визуальной модели состояния (Multi‑head Perception Visual State Space). Вместо тяжёлого внимания в стиле Transformer, которое может быть очень затратным для крупных медицинских изображений, этот модуль принадлежит к новому семейству моделей, известному как state space models. Он эффективно обрабатывает информацию, при этом захватывая дальние взаимосвязи по всему изображению. FDE‑Net пропускает признаки через несколько параллельных ветвей, каждая из которых рассматривает изображение на разных масштабах — от мелких патчей, подходящих для обнаружения крошечных пятен, до широких охватов, фиксирующих крупные органы. Эти многомасштабные сигналы затем объединяются и проходят через блок состояния, который учится, как различные области и масштабы соотносятся друг с другом, при этом вычислительная сложность растёт линейно с размером изображения.

Направляемые «шорткаты», учитывающие контекст

Ещё одна ключевая составляющая FDE‑Net — способ перемещения информации из ранних слоёв в последующие. Традиционные U‑образные сети просто копируют ранние признаки прямо в декодер. FDE‑Net вместо этого пропускает их через механизм Контекстно‑Фокусированного Внимания (Context Focus Attention). Этот модуль использует очень большие, но эффективные свёрточные ядра, чтобы каждый пиксель «видел» широкое окружение, и учится выявлять, какие окружающие области помогают уточнить, является ли граница реальной или просто шумом. В результате декодер получает не только чёткие края, но и края, обогащённые информацией об общей анатомии, что даёт более плавные и реалистичные контуры при обводке границ поражений.

Что показывают тесты на реальных пациентах

Исследователи протестировали FDE‑Net на трёх общедоступных наборах данных: двух для кожных поражений, одном для опухолей молочной железы на УЗИ и одном для множества органов на 3D КТ‑абдоминальных сканах. Во всех случаях FDE‑Net либо соответствовал, либо превосходил сильных современных соперников — классические сверточные сети, модели на базе Transformer и последние state space подходы. На широко используемом бенчмарке по кожным поражениям он улучшил популярную метрику перекрытия (IoU) более чем на шесть процентных пунктов по сравнению с оригинальным U‑Net, при этом требуя сопоставимых или меньших вычислительных ресурсов, чем многие новые методы. Он также показал лучшее обнаружение мелких и слабовыраженных поражений и дал более чистые, согласованные контуры органов в 3D‑сканах.

Что это значит для будущих клинических инструментов

Проще говоря, работа показывает, что внимание как к «частотному виду» изображений, так и к многомасштабной структуре патологии может повысить точность систем компьютерного зрения без необходимости супермощных компьютеров. За счёт целенаправленного подавления фонового шума в частотной области, эффективного моделирования взаимоотношений между масштабами и обогащения «шорткатов» между слоями сети, FDE‑Net предлагает более чёткую и надёжную сегментацию опухолей и органов. С дальнейшей доработкой и валидацией такие архитектуры могут помочь создать более быстрые и надёжные инструменты для поддержки врачей при ранней диагностике, планировании лечения и отслеживании реакции заболеваний на терапию.

Цитирование: Chen, D., Wu, J., Zhang, XY. et al. A frequency-spatial dual perception network for efficient and accurate medical image segmentation. Sci Rep 16, 7259 (2026). https://doi.org/10.1038/s41598-026-38093-7

Ключевые слова: сегментация медицинских изображений, глубокое обучение, частотная область, модели состояния (state space models), поражения кожи и органов