Многоклассовая классификация опухолей мозга с использованием ResNet101 с модулем многомасштабного деформируемого внимания и расширенными методами аугментации данных

Почему важно разделять исследования мозга

Когда врач анализирует снимки мозга в поисках опухолей, ему нужно определить не только наличие новообразования, но и его тип. Разные типы опухолей требуют разных подходов к лечению, хотя на МРТ они могут выглядеть удивительно похоже. В этом исследовании предлагается новый подход на базе искусственного интеллекта, который способен с высокой точностью сортировать множество видов опухолей по МРТ, что потенциально может дать радиологам более быстрый и более согласованный инструмент при принятии решений, имеющих большое значение для жизни пациентов.

Обучение компьютеров «читать» МРТ

Исследователи сосредоточились на многоклассовой классификации, то есть на различении сразу многих категорий опухолей, а не только на простом распознавании опухоль/нет опухоли. Они используют модель глубокого обучения на базе ResNet101 — широко применяемой сети для распознавания изображений, ранее обученной на больших наборах изображений естественного мира и усвоившей общие визуальные шаблоны. Команда адаптирует эту сеть к задаче анализа МРТ мозга и применяет её к общедоступному набору данных, который включает 15 классов — от нормальной ткани мозга до специфических опухолей, таких как глиобластома, менингиома и медиуллобластома. Работа с таким количеством категорий делает задачу ближе к той, с которой сталкиваются радиологи в клинике.

Очистка и балансировка данных из реальной практики

Коллекции медицинских изображений часто содержат скрытые проблемы, такие как повторные снимки одного и того же пациента или значительные различия в частоте встречаемости разных типов опухолей. Чтобы избежать вводящих в заблуждение результатов, авторы сначала просматривают весь набор данных, вычисляют цифровой отпечаток для каждого изображения и удаляют точные дубликаты. Затем они группируют изображения по идентификаторам пациентов и разделяют пациентов (а не отдельные снимки) на тренировочную, валидационную и тестовую выборки, чтобы снимки одного и того же человека не попали в разные подмножества. Такое разбиение по пациентам помогает обеспечить, что заявленная точность отражает работу на действительно невидимых ранее людях, а не на повторных снимках одного и того же мозга. Команда также применяет набор преобразований изображений и технику MixUp, чтобы улучшить представительность редких типов опухолей в обучении и помочь модели справляться с вариациями ориентации, яркости и шума.

Более пристальный взгляд с гибким вниманием

Ключевое новшество исследования — модуль, который авторы называют многомасштабным деформируемым модулем внимания. Проще говоря, модель анализирует МРТ на разных уровнях детализации — от грубых структур всего мозга до более тонких текстур около опухоли. Вместо того чтобы просматривать каждую локацию в жесткой сеточной манере, деформируемое внимание обучается смещать точки «взгляда», чтобы сфокусироваться на информативных областях. Затем оно применяет два дополняющих друг друга типа внимания: одно выделяет важные участки на изображении, а другое усиливает наиболее полезные каналы признаков внутри сети. Такое сочетание позволяет системе лучше улавливать тонкие различия формы и текстуры, которые отличают один тип опухоли от другого.

Проверка производительности и надежности

После многократного обучения модель достигает валидационной точности около 97 процентов и тестовой точности выше 99 процентов по всем 15 классам. Большинство типов опухолей классифицируются идеально в отложенной тестовой выборке, с лишь несколькими ошибками в тех категориях, которые одновременно редки и визуально схожи. Авторы сравнивают свои результаты с предыдущим методом, также использующим деформируемое внимание, и показывают, что их подход сопоставим или превосходит его по почти всем метрикам оценки, несмотря на сложное соотношение классов. Они дополнительно стресс-тестируют систему, добавляя шум и уменьшая разрешение изображений, и обнаруживают, что точность остается высокой даже при ухудшении качества снимков — что важно для реальных условий в больницах.

Показать, что видит модель

Чтобы помочь клиницистам доверять системе, авторы используют инструменты визуализации, которые показывают, на что сеть обращает внимание при принятии решения. Тепловые карты, полученные с помощью Grad-CAM, выделяют участки МРТ, которые наиболее повлияли на предсказание, а анализы на основе SHAP показывают, какие выученные признаки склоняют модель в ту или иную сторону диагноза. Эти визуальные объяснения последовательно указывают на области опухоли и их границы, а не на несущественный фон, что говорит о том, что рассуждение модели согласуется с радиологической интуицией. Хотя исследование подчёркивает необходимость дальнейшего внешнего тестирования, оно демонстрирует, что тщательно спроектированный конвейер глубокого обучения может не только надежно классифицировать множество типов опухолей мозга, но и предоставлять интерпретируемые подсказки о том, как принимаются эти решения.

Что это может означать для пациентов

В повседневной клинической практике такая система не заменит радиологов, а будет выступать в роли второго рецензента, быстро отмечая вероятные типы опухолей и привлекая внимание к подозрительным областям на снимке. Обрабатывая широкий спектр опухолей и оставаясь стабильной при шумных или низкокачественных изображениях, представленная в статье структура показывает, как ИИ может поддерживать более согласованные и своевременные постановки диагнозов. При дополнительной валидации в разных больницах и на разных сканерах такие инструменты могут войти в рутинные рабочие процессы, помогая специалистам сосредоточиться на планировании лечения, в то время как компьютеры возьмут на себя большую часть повторяющейся сортировки изображений.

Цитирование: Reddy, B.S., Jha, R.R., Dasore, A. et al. Multi-class classification of brain tumor using a ResNet101 backbone integrated with multi-scale deformable attention module and advanced data augmentations. Sci Rep 16, 15938 (2026). https://doi.org/10.1038/s41598-026-45675-y

Ключевые слова: МРТ опухоли мозга, глубокое обучение, ИИ в медицинской визуализации, классификация опухолей, сети внимания