MM FD ConvFormer — мультимодальная частотно‑чувствительная деформируемая CNN‑трансформерная сеть для надёжной классификации опухолей мозга

Почему важно умнее читать снимки мозга

Опухоли мозга — одни из самых пугающих медицинских диагнозов, и врачи часто полагаются на МРТ, чтобы обнаружить и охарактеризовать их. Однако интерпретация этих изображений сложна и отнимает много времени, и даже опытные специалисты могут расходиться во мнениях. В этом исследовании представлена новая система искусственного интеллекта (ИИ) под названием MM‑FD‑ConvFormer, созданная для более точной, надёжной и интерпретируемой помощи в классификации опухолей мозга по МРТ‑снимкам.

Видеть опухоль под разными углами

Большинство существующих компьютерных систем анализируют МРТ‑снимки в привычном виде: рассматривают изображение на экране, фокусируясь на формах, яркости и границах. MM‑FD‑ConvFormer идёт дальше, рассматривая один и тот же снимок как два разных, но дополняющих друг друга представления. Одно — знакомое пространственное изображение мозга; другое — частотное представление, получаемое с помощью математических преобразований, которое подчёркивает тонкие текстуры и резкие изменения интенсивности. Комбинируя оба вида, модель лучше улавливает тонкие различия между опухолью и здоровой тканью, особенно в случаях, когда границы опухоли размыты или внешний вид зависит от сканера или клиники.

Многоуровневый путь от снимка к решению

Система обрабатывает каждый срез МРТ двумя параллельными путями. В первом современная сверточная сеть (усовершенствованная версия классического движка анализа изображений) изучает анатомические паттерны и форму опухоли. Во втором более лёгкая сеть анализирует частотную версию того же среза, подчёркивающую текстуру и признаки границ. Эти два потока затем объединяются и уточняются модулем‑трансформером — архитектурой ИИ, первоначально разработанной для работы с языком, но ныне широко применяемой в задачах зрения за счёт способности связывать отдалённые области изображения и учитывать более широкий контекст, например положение опухоли в мозге.

Адаптация к неправильной форме опухолей

Многие опухоли, особенно агрессивные глиомы, не имеют аккуратных круглых контуров. Традиционные механизмы внимания в ИИ смотрят на фиксированные сеточные позиции, что может пропускать или размывать такие неправильные структуры. MM‑FD‑ConvFormer вводит деформируемый блок межмодального внимания, который позволяет модели «изгибать» фокус, следуя фактической форме опухоли. Важно, что этот блок корректирует фокус на основе сочетания как пространственной, так и частотной информации, так что структура и текстура совместно определяют, куда модель смотрит. Такая конструкция повышает чувствительность вдоль сложных границ и помогает согласовать знания двух ветвей, делая итоговое объединённое представление более информативным для классификации.

Проверка надёжности в разных больницах

Чтобы оценить, выдержит ли система реальные условия, авторы обучали её на широко используемых публичных коллекциях МРТ с Kaggle и Figshare, а затем тестировали на отдельных клинически ориентированных наборах, включая BraTS 2020/2021 и коллекцию REMBRANDT. MM‑FD‑ConvFormer превзошёл сильных сверточных, трансформерных и гибридных конкурентов по стандартным метрикам, таким как точность, F1‑мера и площадь под ROC‑кривой. Он достиг примерно 99,8% точности при разграничении опухолевых и нормальных снимков и сохранял высокую производительность при проверке на невиданных наборах данных, собранных с разных сканеров и по разным протоколам. Модель также оценивает собственную неопределённость с помощью повторных слегка рандомизированных прогонов, что позволяет отмечать пограничные случаи, где мнение человеческого эксперта особенно важно.

Делаем решения ИИ видимыми для клиницистов

Помимо численных показателей, авторы сосредоточились на том, смогут ли радиологи понять и доверять решениям модели. Они использовали методы визуализации важности, такие как Grad‑CAM и SHAP, чтобы показать, какие области изображения и какой поток признаков (пространственный или частотный) повлияли на каждое предсказание. Эти визуальные объяснения хорошо совпадали с известными областями и границами опухолей, демонстрируя сильное перекрытие с масками, нарисованными экспертами, несмотря на то, что систему обучали только для классификации, а не сегментации. Частотная ветвь давала больший вклад в сложных данных с артефактами или при кросс‑сайтовом анализе, подтверждая, что подход с двумя представлениями полезен не только математически, но и практически.

Что это значит для пациентов и врачей

Проще говоря, MM‑FD‑ConvFormer — это ИИ‑ассистент, который смотрит на МРТ мозга двумя дополняющими способами, гибко следует реальной форме опухоли и может показать, куда он «смотрит», принимая решение. На нескольких наборах данных он оказался точнее и устойчивее к изменениям сканеров и учреждений по сравнению с предыдущими методами, при этом предоставляя более наглядные обоснования своих решений и встроенную оценку вероятности ошибки. При дальнейшей валидации в клинической практике и расширении на полные 3D‑сканы такие технологии могут способствовать более раннему и более последовательному выявлению опухолей и помогать радиологам и неврологам увереннее подбирать лечение.

Цитирование: Arockia Selvarathinam, A.X., Lilhore, U.K., Alroobaea, R. et al. MM FD ConvFormer multimodal frequency aware deformable CNN transformer network for robust brain tumor classification. Sci Rep 16, 12669 (2026). https://doi.org/10.1038/s41598-026-43616-3

Ключевые слова: МРТ опухоли мозга, ИИ в медицинской визуализации, модели глубокого обучения, классификация опухолей, интерпретируемость моделей