通过图像到图像转换进行金属透镜成像的金属透镜风格图像合成

来自更薄相机的更清晰照片

如今的手机和可穿戴设备满载相机，但能拍出清晰照片的玻璃镜片仍然占据宝贵空间。一类新型超薄“金属透镜”承诺实现刀片般薄的光学元件，能够把相机厚度压平到信用卡般的薄度。然而，这类平面透镜会引入奇怪的色边和模糊，破坏日常照片的质量。本文展示了人工智能如何学习在普通图片上模拟这些缺陷，然后用生成的结果教会相机修复金属透镜图像——而无需花费大量时间拍摄校准照片。

为何平面透镜如此难以驾驭

传统相机依赖多片曲面玻璃元件来温和折射光线并修正不希望出现的模糊与畸变。相比之下，金属透镜是覆盖着比光波长更小微结构的平面，这些微结构以更奇特的方式操控光线。这使得它们极其纤薄且便于在晶圆上制造，但同时也非常敏感：图像清晰度和色彩会在画面中迅速变化，色彩、观察角度或制造公差的微小变化都可能导致条状光晕、光环和细节抹除。对制造商而言，最大障碍不是制造金属透镜本身，而是为每种新设计收集数千张示例照片，以训练软件去消除这些缺陷。

教网络模仿有缺陷的透镜

作者没有从劣质金属透镜照片入手并试图清理它们，而是将问题翻转。他们从使用传统镜头拍摄的干净照片开始，训练一个神经网络将这些图像处理得像是通过特定金属透镜拍摄的一样，带上该透镜特有的色边、位置相关的模糊以及边缘处的变形。该网络基于 U-Net 的“图像到图像”翻译器，能够在保留输入细节的同时加入逼真的畸变。一个配套的判别器网络则评判输出是否看起来像真实的金属透镜照片，推动生成器朝着更可信的缺陷方向改进。只用大约600对真实金属透镜与传统镜头的校准照片，训练好的系统便能在几秒内将数百张普通照片转化为令人信服的金属透镜风格图像。

检验这些假图像有多真实

为了确定这些合成图像是否真正表现出金属透镜的特性，研究团队将其方法与若干先进的图像恢复和超分辨率模型进行比较，但方向相反：不是去清理图像，而是要求这些竞争模型把干净照片退化为类似金属透镜的效果。使用既能反映清晰度又能衡量人眼感知相似度的标准质量度量，他们的翻译器在再现真实金属透镜伪影方面表现最好，同时避免了不自然的纹理。从视觉上看，其输出呈现出鲜明的色边和逼真的模糊模式，与真实拍摄更为接近，而其他模型往往过度平滑或扭曲细节。

用假数据修复真实照片

真正的价值在于将这些合成的金属透镜风格图像用于训练第二个神经网络，后者的任务是将金属透镜照片恢复到无瑕质量。该修复器只见过成对的干净图像与其由 AI 生成的退化版本，从未接触真实金属透镜数据。尽管如此，在测试从未见过的真实金属透镜照片时，它在恢复整体结构和色彩方面比用相同合成数据训练的竞品方法更为准确。有些边缘区域仍比理想状态更柔和，表明当前训练尚未完全捕捉到靠近边界处最强的模糊。尽管如此，结果表明精心构造的假数据在教会相机如何校正金属透镜特性时，能够替代大量昂贵的真实数据集。

这对未来相机意味着什么

对非专业读者而言，关键信息是相机制造商可能不再需要在笨重镜头和低劣图像质量之间做出权衡。通过先学习模仿平面透镜的复杂缺陷，再用这些模仿结果来训练，所提出的方法将数据收集时间大约缩短六十倍，同时仍能实现有效清理金属透镜照片的软件。从实际角度来看，这种具物理感知的图像合成技术有望把多元件相机模块缩减为单片平面透镜加上智能校正算法，为更纤薄的手机、轻便的可穿戴设备和仍能提供清晰、传统外观图像的紧凑科学仪器铺平道路。

引用: Kang, C., Suk, H., Seo, J. et al. Metalens-style image synthesis for metalens imaging via image-to-image translation. Sci Rep 16, 5819 (2026). https://doi.org/10.1038/s41598-026-36150-9

关键词: 金属透镜成像, 计算摄影, 深度学习, 图像恢复, 数据增强