基于NSCT和改进FT显著性检测的红外与可见光图像融合算法

在黑暗与杂乱中看清世界

现代相机能为我们提供清晰、多彩的视野，但在雾、黑暗或强光眩目条件下却常常捉襟见肘——正是在驾驶、监控、搜救或无人机任务中我们最需要可靠视觉的时候。红外传感器捕捉的是热量而非颜色，能在这些恶劣条件下表现出色，但产生的图像往往模糊、细节不足。本文提出了一种智能融合红外与可见光图像的方法，使最终图像既保留清晰的细节，又能在复杂场景中突出人体或目标。

双眼为何更胜一筹

可见光相机记录细腻的纹理与丰富的背景，但在夜间或强阴影下性能急剧下降，目标可能与相近颜色的背景融为一体。红外相机则相反：它们在白天或夜间都能从黑暗背景中分辨出温热的躯体和发热物体，但会丢失建筑、树木和道路等结构的细节。将这两类图像融合，原则上可以兼得两者优点。然而，许多现有的融合方法要么降低对比度、模糊物体边缘，要么让红外的噪点掩盖可见光中的有用细节。

核心思想：让重要部分脱颖而出

作者将融合视为两类图像之间的冲突解决问题，着重处理三个经常出现的问题：判断哪些区域真正重要（“显著”）、在高温红外目标与明亮可见背景之间平衡整体亮度，以及在抑制红外噪声的同时保留细腻纹理。为此，他们改进了一种流行的频率调谐显著性检测技术，该方法试图模拟人类视觉系统以突出自然吸引注意的区域。与其依赖简单的模糊滤波，他们使用一对更智能的滤波器——一个在保持边缘的同时平滑，另一个增强对比——以勾勒出更干净、更锐利的红外目标显著图。

剥离粗糙形状与细微细节

算法确定关键红外目标位置后，使用一种称为非下采样轮廓波变换（Non-Subsampled Contourlet Transform, NSCT）的数学工具将红外和可见图像分解为分离粗结构与细节的层。低频层包含诸如天空、道路或墙壁等宽泛亮度模式，而高频层则捕捉边缘、纹理和小尺度特征。对于粗糙层，该方法结合改进的红外显著性图与基于拉普拉斯的局部结构清晰度度量来混合信息。这有助于避免图像被冲淡：既能防止温热目标掩盖全局场景，也能避免可见背景淹没重要目标。

保持纹理清晰、控制噪声

高频层需要不同策略，因为有用纹理和干扰噪声都集中在这里。方法首先在每个区域选择提供更强局部细节的传感器，然后用加权最小二乘程序细化这一初始选择，使其倾向于更干净、更具信息量的可见光纹理，同时仍允许有意义的红外模式通过。最终得到的融合图像中，树枝、建筑边缘和道路标线保持清晰，而斑点状的红外伪影得到抑制。

更好的图像，更可靠的机器决策

研究团队在若干公开数据集和自采的弱光图像上测试了该方法，并与传统技术和现代深度学习方法进行了比较。人工观察显示，他们的融合图像具有更清晰的背景、更高的对比度和更明显的目标，尤其在阴暗走廊、夜间街道和复杂的户外场景中表现突出。关于信息量、清晰度和对比度的客观指标大多支持该新方法，或显示其在各项指标之间取得了良好平衡。关键的是，将这些融合图像输入到一种流行的目标检测系统（YOLOv5s）时，检测准确率、精确率和召回率都有明显提升。简言之，该算法不仅让图像更悦目，也帮助自动化系统更可靠地发现人和物体。这表明，更智能的红外与可见光融合有望在更安全的自动驾驶、更有效的监控以及在黑暗或视觉复杂环境中更可信的机器人应用中发挥重要作用。

引用: Fan, X., Kong, F., Shi, H. et al. Infrared and visible image fusion algorithm based on NSCT and improved FT saliency detection. Sci Rep 16, 7144 (2026). https://doi.org/10.1038/s41598-026-37670-0

关键词: 红外-可见光融合, 图像显著性, 多传感器成像, 夜视, 计算机视觉