使用条件GAN管线与CNN‑ViT融合提高少数类皮肤癌分类

为何更智能的皮肤检查很重要

皮肤癌是全球最常见的癌症之一，早期发现往往意味着可以通过简单的门诊手术治愈，否则可能发展为危及生命的疾病。皮肤科医生高度依赖放大皮肤图像中的视觉线索，但即便是专家也会在某些癌种罕见或图像被毛发等干扰物遮挡时遇到困难。本研究提出了一种人工智能（AI）系统，旨在更公平地处理这些棘手且代表性不足的病例，目标是为所有人提供更可靠的皮肤癌筛查支持。

数据不均与难以察觉的癌症

皮肤科图像对计算机和临床医生都存在若干挑战。许多照片中有毛发、阴影和其他伪影遮挡了病灶本身。一些皮肤癌非常常见，而另一些则很罕见，因此公开数据集中往往包含成千上万张良性痣的样本，但只有几百张较少见但临床重要的癌症图像。在这种不平衡的数据上训练的标准深度学习模型通常会在多数类上表现出色，而在少数类上悄然失效——恰恰是自动化帮助最需要的那些病例。此外，传统的图像网络经常关注局部小块，可能会错过整体不对称性或不规则边界等对诊断重要的全局线索。

让稀有病例发挥更大作用

为了解决类别不平衡问题，作者首先构建了一个智能图像生成器，该生成器从真实患者数据中学习，然后合成新的、看起来逼真的少见病变样本。与简单地翻转或旋转现有图片不同，他们的系统——一种条件生成对抗网络（cGAN）——利用来自标准分类器的“注意力图”来识别哪些病变区域在早期判定中影响最大。这些注意力图突出了具有医学意义的区域。生成器随后创建新的图像，在保留这些关键结构的同时对颜色、纹理和形状进行可控变异。实际上，AI学会了为每种稀有癌症想象出多种合理的变体，从而在不直接复制图像的情况下丰富训练集。

两种观察方式：局部细节与全局模式

在用这些定向合成图像重新平衡数据集后，第二个AI模块接手执行实际诊断。研究者结合了两类互补模型。卷积神经网络（ResNet50V2）擅长捕捉细粒度的局部线索——细小色素条纹、微妙的纹理和边缘清晰度。与此同时，视觉变换器（DeiT）将每张图像视为一个补丁网格，学习远端区域之间的关系，从而捕捉病灶的整体特性，如对称性、扩散范围和边界形状。团队没有等到最终才合并两者的判断，而是通过基于注意力的融合模块将它们的内部表示进行融合，让全局语境能够动态加强或削弱特定的局部特征。

将系统投入测试

该管线在 HAM10000 数据集上进行了评估——这是一个广泛使用的集合，包含一万多张皮肤镜图像，覆盖七种病变类型，从无害色素斑到黑色素瘤及若干不常见的皮肤癌。在去除毛发并进行谨慎的训练/测试划分后，新的合成图像与清洗过的原始图像混合，构成平衡的训练集。综合模型的性能通过按类精确率、召回率和F1分数以及受试者工作特征（ROC）和精确率‑召回率曲线来评估。关键在于，作者关注诸如皮肤纤维瘤、血管性病变、基底细胞癌和光化性角化病等少数类能否像常见类型那样被可靠识别，而不是依赖可能掩盖弱点的单一总体准确率。

来自AI的更均衡答案

结果系统在所有七类上都实现了较高且更为均衡的准确性。它在若干少数类癌症上接近完美的表现，对其余类型也取得了有竞争力的分数，同时在通过广泛的自助重采样（bootstrap）测试时表现出较低的统计不确定性。这表明这些提升并非过采样的偶发现象，而源自注意力引导的图像生成与双视角分类器之间的协同作用。对非专业读者而言，关键结论是：更聪明的AI设计——而非仅仅更大的模型——可以帮助确保自动化皮肤癌工具不会忽视罕见但危险的病变。尽管在临床部署前仍需在更广泛的多中心数据集上进行更多测试，这项工作指向了能够对每一处皮损（常见或罕见）给予同等审视的AI辅助工具的可能性。

引用: Hussain, S.R., Saritha, S., Chevuri, A. et al. Enhanced skin cancer classification for minority classes using Conditional GAN pipeline and CNN-ViT ensemble. Sci Rep 16, 13114 (2026). https://doi.org/10.1038/s41598-026-43339-5

关键词: 皮肤癌检测, 医学影像人工智能, 类别不均衡, 合成医学图像, 视觉变换器