Мультимодальное объединение фундаментальных моделей патологии и радиологии для субтипирования глиом по WHO 2021

Объединяя два взгляда на опухоли мозга

Когда человеку ставят диагноз «опухоль мозга», врачам нужно знать не только сам факт наличия опухоли, но и её точный тип. Разные типы опухолей по‑разному реагируют на операцию, лучевую терапию и лекарства. Сегодня детальное «субтипирование» обычно требует генетических тестов, которые могут быть медленными, дорогостоящими и недоступными во многих местах. В этом исследовании проверяют, способен ли интеллектуальный компьютерный метод, который анализирует одновременно сканы мозга и микроскопические изображения ткани опухоли, с высокой надёжностью определять эти подтипы — что может ускорить и расширить доступ к таргетной терапии.

Почему тип опухоли важен

Диффузные глиомы у взрослых — одни из самых смертельных опухолей мозга, хотя по стандартным снимкам и при микроскопическом обзоре они часто выглядят похоже. Современные рекомендации делят их на три генетических подтипа, которые сильно различаются по агрессивности и по ожидаемой продолжительности жизни пациентов. Золотой стандарт распознавания этих подтипов основан на молекулярных тестах ДНК опухоли. Они требуют дополнительной ткани, специализированных лабораторий и дней или недель на получение результатов. Авторы ставят вопрос, можно ли объединить рутинно собираемые МРТ и цифровые патоморфологические слайды, чтобы извлечь достаточно информации и частично заменить генетическое обследование.

Обучение машин «читать» сканы и слайды

Команда опиралась на крупные «фундаментальные модели» — мощные анализаторы изображений, предварительно обученные на огромных наборах медицинских снимков. Одна такая модель обрабатывает многопараметрические МРТ, а другая работает с высокоразрешёнными патологоанатомическими слайдами опухолевой ткани. Каждый случай разбивают на небольшие фрагменты изображений, которые фундаментальные модели переводят в числовые отпечатки. На базе этих фиксированных «экспертов» исследователи обучили три типа моделей слияния, которые учатся комбинировать информацию из МРТ и патологии: схема позднего объединения, схема раннего объединения и более гибкая архитектура mixture-of-experts, способная динамически решать, в какой степени полагаться на каждый источник информации.

Смешивание модальностей без точного соответствия пациентов

Практической проблемой для таких мультимодальных подходов является то, что в больницах редко встречаются большие наборы данных, где у каждого пациента аккуратно сопоставлены и МРТ, и патологоанатомические изображения. Вместо опоры на идеально сопоставленные данные авторы собрали отдельные коллекции: сотни случаев МРТ из нескольких центров и сотни патологических случаев из другого ресурса, а также меньшую выборку — 171 пациент с открытого онкологического проекта, у которых были оба типа данных. В процессе обучения они нередко сочетали МРТ одного человека с патологическим слайдом другого, при условии, что опухоли относились к одному и тому же подтипу. Трансформационно, модели, обученные на таких «несопряжённых» данных, показывали не хуже результаты, чем модели, обученные на истинных парах пациентов, и явным образом превосходили простое усреднение двух независимых однотипных моделей.

Одна модель, которая адаптируется к доступным данным

На отложенной выборке из 171 полностью охарактеризованного пациента все мультимодальные модели превзошли свои однотипные аналоги, а архитектура mixture-of-experts показала наилучшие результаты, достигнув очень высоких показателей при разграничении трёх подтипов. Примечательно, что когда во время тестирования предоставлялось только МРТ или только патоморфологическое изображение, мультимодальная модель не «разваливалась»: она работала примерно так же, как специализированные однотипные модели. Это означает, что клиника могла бы развернуть единую систему, использующую любую имеющуюся информацию — лишь предоперационные снимки, лишь послеоперационную ткань или оба источника — вместо поддержания отдельных инструментов для каждой ситуации.

Видеть то, что видит модель

Чтобы повысить доверие к решениям системы, исследователи изучили, куда модель «смотрит» и какие признаки изображений оказывают наибольшее влияние. Карты внимания показали, что совместная модель распределяет фокус шире по опухоли и её окружению как на МРТ, так и на слайдах, и что более диффузное внимание часто коррелирует с правильными предсказаниями. Более глубокий анализ выученных признаков выявил паттерны, совпадающие с известными медицинскими маркерами: например, МРТ‑признаки, выделяющие контрастно усиливающиеся ядра опухоли и искажённые жидкостные пространства, помогали отделить более агрессивные опухоли, в то время как тканевые признаки, фиксирующие классические формы клеток и текстуры, помогали распознавать конкретные подтипы глиом. Появились и интересные пробелы: модель слабо кодировала некоторые учебные признаки самых агрессивных опухолей, что поддерживает идею о том, что она часто рассматривает эту группу как «по умолчанию», если нет явных доказательств в пользу более благоприятного подтипа.

Что это может означать для пациентов

Проще говоря, работа показывает, что ИИ‑система, объединяющая снимки мозга и микроскопические изображения, может классифицировать опухоли мозга точнее, чем системы, анализирующие только один тип изображений, и что её можно обучить даже тогда, когда два типа изображений недоступны у одних и тех же пациентов. При дальнейшем подтверждении на больших и более разнообразных когортах такие инструменты могут помочь врачам раньше и шире оценивать подтип опухоли, особенно в условиях ограниченного доступа к генетическим тестам. Хотя они не заменяют молекулярную диагностику, они могут служить быстрыми и недорогими ориентирами, указывающими хирургам и онкологам на наиболее вероятный диагноз и на оптимальный план лечения.

Цитирование: Saueressig, C., Scholz, D., Raffler, P. et al. Multimodal fusion of pathology and radiology foundation models for WHO 2021 glioma subtyping. npj Precis. Onc. 10, 118 (2026). https://doi.org/10.1038/s41698-026-01366-5

Ключевые слова: субтипирование глиомы, мультимодальная визуализация, искусственный интеллект, МРТ и патология, диагностика рака мозга