NSCTと改良FT顕著性検出に基づく赤外線と可視画像の融合アルゴリズム

暗闇や雑多な環境を見通す

現代のカメラは鮮明で色彩豊かな世界を映し出しますが、霧、暗闇、逆光などの状況では性能が落ちます。これらは運転、監視、捜索救助、ドローン運用で視覚が最も重要になる場面です。色ではなく熱を捉える赤外線センサーはこうした過酷な条件で優れますが、得られる画像はぼやけて細部が失われがちです。本稿は、赤外線画像と可視光画像を賢く融合し、困難なシーンでも鮮鋭なディテールと人や物体の明瞭な強調を兼ね備えた最終画像を作る方法を示します。

なぜ二つの目は一つより優れているのか

可視光カメラは細かな質感や豊かな背景を捉えますが、夜間や濃い影では性能が低下し、対象が周囲と同じ色合いに溶け込んでしまうことがあります。赤外線カメラは逆に、昼夜を問わず暗い背景の中で暖かい人体や熱を放つ物体を浮かび上がらせますが、建物や樹木、道路にある微細な構造は失われがちです。これら二つの特性を一つの画像に融合できれば両方の長所を得られます。しかし既存の多くの融合手法はコントラストを損なったり、物体の縁をぼかしたり、赤外線のノイズが可視画像の有用なディテールを覆ってしまったりします。

核心アイデア：重要な部分を際立たせる

著者らは融合を二種類の画像間のコンフリクト解決問題と捉えます。注目したのは三つの繰り返し発生する課題です：どの領域が本当に重要（「顕著」）かを推定すること、赤外線の高輝度ターゲットと明るい可視背景の全体的な明るさを均衡させること、繊細なテクスチャを保持しつつ赤外線ノイズを抑えること。これに対処するため、彼らは周波数調整型（frequency‑tuned）の顕著性検出という一般的な手法を改良しました。これは人間の視覚を模して注目領域を強調する手法ですが、単純なぼかしに頼る代わりに、エッジを保ちながら平滑化するフィルタとコントラストを強調するフィルタという二つの賢いフィルタを組み合わせ、興味ある赤外ターゲットのよりきれいで鋭い顕著性マップを作り出します。

粗い形状と細かいディテールを分離する

アルゴリズムが主要な赤外ターゲットの位置を把握したら、赤外と可視の両画像を非サンプリングコンタレット変換（Non‑Subsampled Contourlet Transform）という数学的ツールで、粗い構造と細部を分けるレイヤーに分解します。低周波レイヤーは空、道路、壁などの大まかな輝度パターンを含み、高周波レイヤーはエッジ、テクスチャ、小さな特徴を捉えます。粗いレイヤーについては、改良された赤外顕著性マップとラプラシアンに基づく局所構造のシャープさ指標の両方を用いて情報を混合します。これにより、暖かい物体がシーンを支配して白飛びする、あるいは可視背景が重要なターゲットを覆い隠すといった洗い流されたような画像を避けることができます。

テクスチャを鮮明に、ノイズを抑える

高周波レイヤーは有用なテクスチャと煩雑なノイズが混在するため、別の戦略が必要です。ここでは領域ごとにどちらのセンサーがより強い局所ディテールを提供しているかをまず選択します。次に、その初期選択を重み付き最小二乗法で洗練させ、よりクリーンで情報量の多い可視光テクスチャに傾きつつ、意味のある赤外パターンも通す仕組みにします。その結果、樹枝、建物のエッジ、道路標示などは鮮明に見え、赤外線特有の斑点状アーティファクトは低減された融合画像が得られます。

より良い画像、より良い機械的判断

研究チームは複数の公開データセットと自ら撮影した低照度画像で手法を評価し、従来手法や最新の深層学習法と比較しました。人間の目による検査では、融合画像は背景がより明瞭でコントラストが高く、暗い廊下や夜間の通り、雑多な屋外シーンでターゲットがより明確に示されました。情報量、鮮鋭度、コントラストの客観的指標でも概ね新手法が優れるか、指標間でバランスが良い結果を示しました。重要なのは、これらの融合画像を物体検出システム（YOLOv5s）に入力したところ、検出精度、適合率、再現率がいずれも明確に向上したことです。平たく言えば、このアルゴリズムは単に見た目を良くするだけでなく、自動化システムが人物や物体をより確実に見つけるのに役立ちます。つまり、赤外線と可視画像の賢い融合は、自動運転の安全性向上、より効果的な監視、暗所や視覚的に複雑な環境での信頼できるロボット運用において重要な役割を果たし得ることを示唆しています。

引用: Fan, X., Kong, F., Shi, H. et al. Infrared and visible image fusion algorithm based on NSCT and improved FT saliency detection. Sci Rep 16, 7144 (2026). https://doi.org/10.1038/s41598-026-37670-0

キーワード: 赤外線-可視融合, 画像の顕著性, マルチセンサーイメージング, ナイトビジョン, コンピュータビジョン