Лёгкая SwiM-UNet с многомерным адаптером для эффективной сегментации медицинских изображений на устройстве

Более умные снимки у постели пациента

Снимки мозга могут выявить угрожающие жизни опухоли, но превращение сырых изображений в чёткие контуры, с которыми врачи могут работать, по‑прежнему занимает много времени и требует больших вычислительных ресурсов. В этом исследовании представлен SwiM‑UNet — новый алгоритм, который может сегментировать опухоли мозга на 3D МРТ с передовой точностью, при этом эффективно работая на локальных устройствах, приближая точный анализ изображений к постели пациента или даже в мобильные клиники.

Почему важны точные контуры опухолей

Современная медицина в большой степени опирается на визуализацию для планирования операций, лучевой терапии и лекарственной терапии. Для опухолей мозга врачам нужно не только убедиться в наличии опухоли, но и точно знать, где начинаются и заканчиваются её разные части. Эта задача, называемая сегментацией, обычно выполняется или уточняется специалистами послойно — трудоёмкий процесс, который может задерживать принятие решений и варьироваться от эксперта к эксперту. Автоматические инструменты сегментации на основе глубокого обучения улучшили ситуацию, но самые точные из них часто требуют крупных графических процессоров, что затрудняет их использование непосредственно в клинике, особенно на небольших или портативных устройствах.

Две мощные идеи, которые трудно уместить на малых устройствах

Недавние прорывы в компьютерном зрении в основном связаны с двумя семействами моделей. Системы на основе трансформеров, такие как Swin Transformer, отлично выявляют глобальные закономерности по всему 3D‑скану и обеспечивали лидирующие результаты в сегментации опухолей мозга. Однако их ключевая операция — self‑attention — становится чрезвычайно затратной по мере роста размера изображения, что ограничивает их применение в реальном времени или на компактном оборудовании. Новое семейство, известное как Mamba и основанное на моделях состояния‑пространства, предлагает хитрое решение: оно обрабатывает последовательности фактически за линейное время, сокращая число необходимых вычислений. Ранние эксперименты в медицинской визуализации показали, что модели в стиле Mamba быстры и эффективны, но обычно уступают трансформерам в качестве сегментации, особенно при работе со сложной формой опухолей.

Сочетание скорости и точности в одном дизайне

Авторы поставили себе задачу объединить сильные стороны обоих подходов в одной 3D‑модели. Их SwiM‑UNet сохраняет знакомую U‑образную структуру, широко используемую в медицинской визуализации, с энкодером, который сжимает информацию, и декодером, восстанавливающим детализированные сегментации. На ранних стадиях, когда скан ещё велик и имеет высокое разрешение, они используют эффективные Mamba‑блоки, чтобы держать вычисления под контролем. Глубже в сети, после понижения разрешения данных, они переключаются на упрощённые Swin‑трансформер‑блоки, которые теперь могут позволить себе моделировать дальние зависимости без перегрузки аппаратуры. Пользовательский мост под названием MS‑adapter связывает эти два режима. Он рассматривает признаки по ширине, высоте и глубине объёма отдельно, а также по каналам, затем через небольшие управляющие элементы (gating units) обучается, насколько каждое представление должно влиять на итоговое описание.

Больше достижений при меньших вычислениях

Помимо гибридной архитектуры, команда сократила лишние вычисления, применив низкоранговые полносвязные слои и декодер, целенаправленно сокращающий число обрабатываемых каналов. Они проверили несколько вариантов с разным сочетанием Mamba и Swin‑слоёв и обнаружили, что лучшее соотношение скорости и точности даёт использование Mamba в первых трёх стадиях энкодера и Swin только на самой глубокой стадии. На двух больших публичных наборах данных по опухолям мозга из конкурсов BraTS 2023 и 2024 SwiM‑UNet достиг более высокой точности и более точных границ, чем ведущие модели только на трансформерах, только на Mamba и предыдущие гибриды, при этом требуя значительно меньше операций с плавающей запятой и сокращая время инференса до примерно 45 миллисекунд на патч скана на современной графической карте.

Готовность для реальных устройств

Чтобы проверить, имеют ли эти улучшения значение вне лаборатории, авторы сравнили вычислительные требования модели с возможностями типичных клинических edge‑систем — портативных консолей МРТ, компьютеров для неотложной помощи и рабочих станций операционных залов. Их анализ показывает, что в отличие от более тяжёлых трансформерных моделей, SwiM‑UNet с лёгкостью укладывается в пределы мощности, памяти и скорости таких устройств, часто удовлетворяя требованиям реального времени. Модель также показала хорошие результаты на отдельном наборе данных абдоминальной КТ, что указывает на способность подхода обобщаться за пределы опухолей мозга и даже за пределы МРТ.

Что это значит для пациентов и клиницистов

Практически SwiM‑UNet демонстрирует, что можно приблизиться к точности самых сложных моделей сегментации, при этом сохранив вычисления достаточно лёгкими для работы на устройстве. Это может обеспечить более быстрые и более согласованные контуры опухолей в отделениях неотложной помощи, сельских больницах или мобильных диагностических пунктах без необходимости отправлять чувствительные снимки на удалённые серверы. Хотя требуется дополнительная работа по адаптации метода к разным сканерам и условиям, этот гибридный дизайн указывает на будущее, в котором высококачественный анализ изображений выполняется там, где находится пациент, а не только в центрах обработки данных.

Цитирование: Noh, Y., Lee, S., Jin, S. et al. Lightweight SwiM-UNet with multi-dimensional adaptor for efficient on-device medical image segmentation. Sci Rep 16, 5807 (2026). https://doi.org/10.1038/s41598-026-35771-4

Ключевые слова: сегментация опухоли мозга, ИИ в медицинской визуализации, гибридные нейросети, вывод на устройстве, анализ 3D МРТ