用于荧光显微镜图像多任务跨分布修复的基础模型

更清晰地观察细胞的隐秘世界

现代生物学依赖显微镜来观测细胞内的繁忙生命活动，但我们拍摄到的图像常常颗粒感强、模糊或缺失细节。本文提出了 FluoResFM，一种新的人工智能（AI）模型，旨在在单一系统中对来自多个不同实验的荧光显微镜图像进行去噪和锐化。对科学家而言，这意味着更清晰的图像和更少的反复试验；对患者和公众而言，这有助于基于更高质量数据、更快速且更可靠的生物学发现与医学洞见。

为什么显微镜图像难以获得高质量

荧光显微镜通过使蛋白质、膜结构和细胞器发光来揭示它们，但存在权衡：为保护活细胞而使用较弱的光照常常产生噪声大、暗淡且模糊的图像。研究人员转向深度学习来修复这些图像，教神经网络使用低质量与高质量图像对来去噪、去模糊或提升分辨率。然而，大多数现有工具是狭义的专用模型：一种模型可能只擅长对某一特定结构去噪，另一种仅适用于某类显微镜的锐化。当这类模型应用于新的结构或成像设置时，它们可能严重失效，捏造虚假细节或扭曲真实结构——当科学家依赖这些图像进行精确测量时，这是一项严重问题。

一个模型处理多种图像问题

FluoResFM 的目标是成为通用型模型：一个能在统一框架内处理若干修复任务（去噪、去模糊（去卷积）和超分辨率）并适用于多种细胞结构和显微镜的基础模型。作者在超过 430 万个图像补丁上进行了训练，涵盖 20 多种生物结构，从网格蛋白涂层小窝和微管到细胞核、溶酶体和内质网，采集自多种成像条件。FluoResFM 的核心采用类似 U‑Net 的架构，这是生物医学图像处理中常见的设计，但它由额外信息引导：简短的文本描述，用以编码正在执行的任务、所含结构以及图像的采集方式。这些文本提示通过预训练生物医学语言—视觉模型转换为数值特征，然后在网络内部通过注意力层与图像特征融合。实际上，模型收到的指令不仅是“清理这张图像”，而是“对来自这种显微镜的微管图像进行去噪，朝向那种目标”，这有助于它选择合适的修正策略。

文本引导如何提升图像质量

当作者将 FluoResFM 与先前领先的基础模型以及不带文本引导的同一模型版本进行比较时，带有文本信息的模型明显表现更好。在数百个内部数据集和 51 个先前未见的外部数据集上，FluoResFM 在多项清晰度、相似性和误差度量上生成的图像更接近高质量参考。它在分辨相互靠近的细节（例如细胞核包膜上的环形孔或纠结的微管网络）方面表现尤为出色，并避免了把相邻结构模糊合并的倾向。文本提示还提供了强大的引导机制。将任务描述从“去噪”改变为“超分辨率”（概念上）会导致同一网络对相同输入图像执行截然不同的操作。同样，若指定错误的结构类型，模型会重建出误导性模式，例如将网状网络重构为点状斑点，这既凸显了模型的灵活性，也强调了先验知识正确性的关键作用。

快速适应新实验

由于 FluoResFM 建立在广泛的经验基础之上，它可以通过非常少量的额外信息快速微调以适应新数据。团队展示了仅使用来自新数据集的一张示例图像并只更新网络的一小部分，模型就能达到与从头在数百张图像上训练的传统深度网络相当的性能。这一策略对静态图像和细胞结构运动的时间序列视频都适用：微调后的模型在清晰度和随时间测量的稳定性方面均有所提升。同样的方法使 FluoResFM 能扩展到原始训练任务之外的新任务，如三维体积修复、从三维到二维的表面投影、沿不同轴线使分辨率更均匀，以及处理更高倍的放大因子。在这些情况下，模型均生成了更清晰的结构并在定量上与参考数据更好地吻合。

帮助其他工具更清晰地“看见”细胞

FluoResFM 不仅仅是用来生成好看的图像；它还能增强依赖图像质量的后续分析工具。当作者将修复后的图像输入用于描绘细胞核、膜和细胞器轮廓的流行自动分割程序时，这些工具能检测到更多对象、遗漏更少、并生成与专家标注真相更一致的形状。这种改进在包含多种细胞类型和结构的数十个数据集中都有体现。为降低日常使用门槛，团队将 FluoResFM 封装为 napari 的插件——这是一款广泛使用的交互式图像查看器——使生物学家能够在常用工作流中修复图像并微调模型，而无需编写代码。

这对未来显微成像意味着什么

简言之，这项工作表明：单一的文本引导 AI 模型可以清理和锐化多种荧光显微镜图像、快速适应新实验，并提升其他分析工具的性能。通过将关于被成像对象、采集方式以及期望改进类型的信息织入模型，FluoResFM 比孤立训练的任务特定网络生成了更值得信赖的图像。随着更多数据和任务的加入，此类基础模型有望成为显微镜的标准配套工具，将不完美的原始快照转化为可靠的窗户，从而洞察活细胞的隐秘结构与动态。

引用: Lu, Q., Liu, X., Feng, Q. et al. A foundation model for multi-task cross-distribution restoration of fluorescence microscopy images. Nat Commun 17, 3729 (2026). https://doi.org/10.1038/s41467-026-70307-4

关键词: 荧光显微镜, 图像修复, 深度学习, 基础模型, 细胞成像