S2SWCLIP：空間－ウェーブレットの相乗効果による意味的最適化プロンプトを用いたゼロショット異常検出

機密データを共有せずに小さな欠陥を見つける

現代の工場や病院では、不良や病変を検出するためにカメラに依存することが増えていますが、欠陥例を十分に収集・ラベル付けするのは困難であり、医療ではプライバシー規則によって制限されることが多いです。本論文はS2SWCLIPを提案します。これは、特定の生産ラインや病院の例を一度も見たことがなくても、金属のひび割れやスキャン画像の疑わしい領域など画像中の異常なパターンを検出できる手法です。言語の巧妙な利用と、画像内部の形状や質感の見方を高度に組み合わせることで実現します。

なぜ希少な問題の発見は困難なのか

異常検出は、画像全体や単一のピクセルが正常か欠陥かを判定するタスクです。生産ラインや医用画像では真の欠陥がまれで多様なため、従来のシステムは主に正常サンプルで学習し「正しく見えるもの」を学びます。成功している多くの方法は、画像を再構成して差分を旗上げするか、正常な外観のコンパクトな記述を構築して外れ値を検出します。これらはターゲット環境のデータがある場合には有効ですが、プライバシーが重要な場合や常に変化する環境では、新しい製品や部位ごとにモデルを再訓練できないことがあります。CLIPに基づく最近の「ゼロショット」手法は、文章で記述するだけで異常を検出する道を提供します。しかし既存のアプローチは、あいまいなテキストプロンプトや粗い画像特徴に依存することが多く、正常と異常の境界があいまいになることがあります。

正常と破損の言葉を研ぎ澄ます

S2SWCLIPはまず言語面に取り組みます。単一の一般的なフレーズ（例：「損傷した物体」）を使う代わりに、同手法は3つのプロンプト群を構築します。1つは対象に依存しないもので、名前のない物体が正常か損傷しているかを述べます。2つ目は「完全に（perfectly）」対「重度に（severely）」のような感情的に強い語を用いて明確な肯定・否定の状態を対比させ、完璧さや欠陥を示唆する語群を組み合わせます。3つ目の群はひび割れや擦り傷といった特定の欠陥タイプに言及して、損傷の概念を具体化します。これらの異なるフレーズはCLIPのテキスト側に通され、特殊な融合メカニズムが内部信号を比較・統合します。ノイズ成分を除外し、強く相関する成分を強調することで、画像を考慮する前に「正常」と「異常」の概念をより豊かで分離されたものにします。

画像で詳細と全体像の両方を見る

視覚面では、S2SWCLIPはCLIPの画像の見方を再構成します。標準版は広範な全体印象を重視する傾向があり、ひびの細い線や早期病変を示す微妙な陰影を見落としがちです。これに対処するため、著者らは異なる解像度からの情報を混ぜて微細な詳細と大きな構造の両方を保持する階層的融合モジュールを追加します。つぎに二重ウェーブレット変換を適用します。これは信号処理の古典的手法で、画像を滑らかな背景成分と鋭いエッジやテクスチャに分割します。二種類のウェーブレットを用いることで、緩やかな全体変動と局所的な急激な変化を同時に捉え、周波数に配慮した特徴マップとして再結合します。この「空間－ウェーブレットの相乗効果」により、テクスチャや周波数に際立つが肉眼ではほとんど見えない微細な欠陥に対してモデルの感度が高まります。

言葉と視覚を整合させる

最終段階では、こうして強化された画像特徴を最適化されたテキストプロンプトと照合します。画像全体については、各プロンプトの表現がグローバルな画像記述とどれだけ一致するかを測定します。ピクセル単位のマップについては、各局所領域がテキスト特徴と比べてどれだけ情報を運んでいるかを調べるエントロピーに基づく類似度スコアを導入します。異常プロンプトと統計的に近く、正常プロンプトとは異なる領域が疑わしいものとして強調されます。モデルは単一の産業ベンチマークで微調整された後、再訓練なしで製造部品、テクスチャ、医用画像を含む14の多様なデータセットで評価されます。これらの多くのテストにおいて、S2SWCLIPは画像レベルの分類とピクセルレベルの局在化の両方で従来のゼロショット手法を上回りつつ、計算時間と学習可能パラメータ数は抑えられています。

現場の検査にとっての意義

非専門家にとっての核心は、S2SWCLIPが単純な「壊れているか？」という表現や粗い見方を超え、微妙な言語表現と顕微鏡のような画像構造の観察を組み合わせる点にあります。正常と欠陥の記述の対比を強化し、画像をマルチスケールかつ周波数ベースの成分に分解することで、新しい環境ごとの例を必要とせずに欠陥をより確実に検出します。複雑な背景に溶け込む極めて微妙な異常には依然として苦戦する場合がありますが、より局所化した解析や高度な幾何学的手法など、ギャップを埋めるための将来的方向性も示されています。総じて、S2SWCLIPは最小限の追加データで新しい産業や医療の文脈に適応できる柔軟でプライバシーに配慮した検査システムへの有望な一歩を提供します。

引用: Zhang, H., Wu, C., Lu, J. et al. S2SWCLIP: semantic-optimized prompts with spatial-wavelet synergy for zero-shot anomaly detection. Sci Rep 16, 13062 (2026). https://doi.org/10.1038/s41598-026-43044-3

キーワード: ゼロショット異常検出, ビジョンと言語のモデル, 産業検査, 医用画像解析, ウェーブレット画像特徴量