用于 WHO 2021 胶质瘤分型的病理学与放射学基础模型多模态融合

将对脑肿瘤的两种视角结合起来

当某人被诊断出脑肿瘤时，医生不仅需要知道是否存在肿瘤，还需要确定具体的肿瘤类型。不同肿瘤类型对手术、放疗和药物的反应差别很大。如今，精细的“亚型鉴定”通常依赖基因检测，但这些检测可能耗时、花费高昂且并非处处可及。本研究探讨了一种智能计算机系统：同时分析脑部影像和肿瘤组织的显微镜图像，是否能够可靠推断这些亚型，从而可能加速并扩大精准治疗的可及性。

为什么肿瘤类型很重要

成人弥散性胶质瘤是最致命的脑癌之一，但在常规影像和显微镜下常常相似。现代指南将其分为三种遗传学亚型，这些亚型在侵袭性和患者预后上差异显著。区分这些亚型的当前金标准依赖于对肿瘤 DNA 的分子检测。这些检测需要额外组织、专门实验室，并需等待数天到数周才能得到结果。作者提出疑问：常规采集的磁共振成像（MRI）和数字病理切片能否被组合用于提取足够的信息，以在某些情况下替代部分基因学检测。

教会机器读影像和切片

研究团队基于大型“基础模型”——在海量医学图像上预先训练的强大图像分析器展开工作。其中一个模型处理多参数 MRI，另一个负责高分辨率的病理切片。每个病例被切分成小的图像补丁，基础模型将这些补丁转换为数值指纹。在这些固定的“专家”之上，研究者训练了三类融合模型，学习如何结合 MRI 与病理的信号：后期融合（late-fusion）设计、早期融合（early-fusion）设计，以及一种更灵活的专家混合（mixture-of-experts）架构，该架构能够动态决定对每种来源依赖的程度。

在不匹配患者的情况下混合模态数据

此类多模态方法的一个现实障碍是医院很少拥有每位患者都同时配备 MRI 和病理图像的大型配对数据集。作者并没有依赖完美配对的数据，而是组装了独立的集合：来自几个中心的数百例 MRI，以及来自另一资源的数百例病理图像，再加上来自一个公共癌症项目的 171 例同时具备两类数据的较小样本。在训练过程中，他们经常将一名患者的 MRI 与另一名患者的病理切片配对，只要两者属于相同的肿瘤亚型。令人意外的是，在这种“非配对”数据上训练的模型表现与在真实配对数据上训练的模型同样出色，而且明显优于简单平均两个单模态模型的做法。

一个能根据可用信息自适应的单一模型

在 171 例完整表征患者的保留测试集中，所有多模态模型均优于对应的单输入模型，而专家混合设计表现最佳，在区分三种亚型上取得了很高的评分。值得注意的是，当测试时仅提供 MRI 或仅提供病理时，多模态模型并未崩溃；其表现大致与专门的单模态模型相当。这意味着临床机构可以部署一个统一系统，利用可用的任何信息——仅术前影像、仅术后组织或两者并存——而不必为每种场景维持独立工具。

观察模型“看到”的内容

为了建立对系统决策的信任，研究者探查了模型“注视”的位置以及哪些图像特征最重要。注意力图显示，联合模型在肿瘤及其周围区域上分布得更广，无论是在 MRI 还是在组织切片上，且更为广泛的注意力往往与正确预测相吻合。对学习到的特征的更深入分析揭示了与已知医学线索相匹配的模式：例如，突显对比增强肿瘤核心和受压扭曲的液体腔隙的 MRI 特征有助于区分更具侵袭性的肿瘤，而捕捉经典细胞形态与纹理的组织特征有助于识别特定的胶质瘤亚型。也出现了一些有趣的缺失：模型并未强烈编码某些教科书上最具侵袭性肿瘤的典型体征，这支持了这样一种观点：除非有明确证据指向更有利的亚型，否则模型常将该组视为一种“默认”类别。

这对患者可能意味着什么

简而言之，这项工作表明，结合脑部影像与显微图像的人工智能系统比仅查看单一类型图像的系统能更准确地对脑肿瘤进行分类，而且这种系统即便在两类图像并非来自同一患者时也能训练成功。如果在更大规模、更具多样性的群体中得到进一步验证，此类工具可帮助医生更早、更广泛地估计肿瘤亚型，尤其在基因检测受限的环境中尤为有用。尽管它们不能取代分子检测，但可以作为快速、低成本的指引，帮助外科医生和肿瘤科医生朝着最可能的诊断和最合适的治疗路径迈进。

引用: Saueressig, C., Scholz, D., Raffler, P. et al. Multimodal fusion of pathology and radiology foundation models for WHO 2021 glioma subtyping. npj Precis. Onc. 10, 118 (2026). https://doi.org/10.1038/s41698-026-01366-5

关键词: 胶质瘤分型, 多模态影像, 人工智能, 磁共振与病理, 脑癌诊断