S2SWCLIP: семантически оптимизированные подсказки с пространственно-волновой синергией для нулевого обучения обнаружения аномалий

Обнаружение крошечных дефектов без передачи конфиденциальных данных

Современные заводы и больницы всё чаще полагаются на камеры для обнаружения дефектов и признаков заболеваний, но собрать и разметить достаточное количество примеров с дефектами сложно — а в медицине часто и невозможно из‑за правил конфиденциальности. В этой статье предложен метод S2SWCLIP, который умеет находить нетипичные паттерны на изображениях, такие как трещины в металле или подозрительные участки на сканах, даже если он никогда ранее не видел примеров именно с этой производственной линии или из этой клиники. Это достигается сочетанием продуманного использования языка и усовершенствованного анализа формы и текстуры изображений.

Почему найти редкие проблемы так трудно

Обнаружение аномалий — это задача определения, является ли изображение или даже отдельный пиксель нормальным или дефектным. На производственных линиях и в медицинской визуализации истинные дефекты редки и сильно варьируются, поэтому традиционные системы обучают в основном на нормальных образцах и «учат» модель тому, как выглядит норма. Многие успешные методы либо восстанавливают изображения и отмечают отличия, либо строят компактное представление нормального вида и ищут выбросы. Эти подходы хорошо работают, когда есть данные из целевой среды. Но в условиях, чувствительных к приватности, или при постоянных изменениях производства может не быть возможности дообучать модели под каждый новый продукт или участок тела. Недавние методы «нулевого обучения» на основе CLIP — мощной модели, связывающей изображения и текст — предлагают способ обнаруживать аномалии, просто описывая их словами. Однако существующие подходы часто опираются на расплывчатые текстовые подсказки и грубые визуальные признаки, что размывает границу между нормой и аномалией.

Уточнение языка для нормального и повреждённого

S2SWCLIP в первую очередь работает над языковой частью. Вместо единой общей фразы вроде «повреждённый объект» метод формирует три семейства подсказок. Первое — без указания объекта, описывает анонимный предмет как нормальный или повреждённый. Второе противопоставляет явно положительные и отрицательные состояния, используя эмоционально окрашенные слова, такие как «безупречно» и «сильно», а также наборы терминов, предполагающих бездефектное или дефектное состояние. Третье семейство упоминает конкретные типы дефектов — например трещины или царапины — чтобы сделать представление о повреждении более конкретным. Эти фразы пропускаются через текстовую часть CLIP, а специальный механизм слияния сравнивает и комбинирует их внутренние сигналы. Отбрасывая шумовые компоненты и подчёркивая сильно коррелирующие, система генерирует более богатое и лучше разделённое представление «нормы» и «аномалии» ещё до обработки самого изображения.

Видеть одновременно детали и общую картину

С визуальной стороны S2SWCLIP переосмысливает, как CLIP анализирует изображения. Стандартные версии склонны отдавать предпочтение широким общим впечатлениям, что может пропускать тонкие линии трещины или едва заметные градации, указывающие на раннее заболевание. Чтобы исправить это, авторы добавляют иерархический модуль слияния, который смешивает информацию с разных разрешений, сохраняя и мелкие детали, и крупные структуры. Затем применяется двойное вейвлет‑преобразование — классический инструмент обработки сигналов, разделяющий изображение на гладкие фоновые компоненты и более резкие края или текстуры. Используя два типа вейвлетов, метод одновременно захватывает мягкие глобальные вариации и резкие локальные изменения, а затем объединяет их в частотно‑чувствительные карты признаков. Эта «пространственно‑вейвлетная синергия» даёт модели более чуткое восприятие крошечных дефектов, заметных по текстуре или частотным характеристикам, но почти невидимых невооружённым глазом.

Согласование того, что мы говорим, и того, что видим

Последний шаг — сопоставить эти улучшенные визуальные признаки с оптимизированными текстовыми подсказками. Для целых изображений S2SWCLIP измеряет, насколько представление каждой подсказки согласуется с глобальным описанием изображения. Для покомпонентных (пиксельных) карт вводится мера сходства на основе энтропии, которая оценивает, сколько информации несёт каждая локальная область относительно текстовых признаков. Области, статистика которых близка к подсказкам на аномалию, но отличается от нормальных подсказок, выделяются как подозрительные. Модель дообучается на одном промышленном бенчмарке, а затем тестируется без дообучения на 14 разнообразных наборах данных, охватывающих изделия, текстуры и медицинские изображения. По большинству тестов S2SWCLIP превосходит ранние методы нулевого обучения как в классификации на уровне изображения, так и в локализации на уровне пикселя, при этом сохраняя умеренные требования к вычислениям и числу обучаемых параметров.

Что это даёт для реальной инспекции

Для неспециалиста ключевая мысль в том, что S2SWCLIP выходит за рамки простого «сломано/не сломано» и грубого осмотра, сочетая нюансированный язык с микроскопическим взглядом на структуру изображения. Усиливая контраст между нормальными и дефектными описаниями и дробя изображение на многомасштабные, частотно‑ориентированные компоненты, метод надежнее отмечает дефекты без необходимости примеров из каждой новой среды. Хотя он по‑прежнему может испытывать трудности с чрезвычайно тонкими аномалиями, сливающимися со сложным фоном, авторы предлагают дальнейшие направления — такие как более локализованный анализ и продвинутая геометрия — которые могут сократить этот разрыв. В целом S2SWCLIP представляет собой перспективный шаг к гибким, учитывающим приватность системам инспекции, способным адаптироваться к новым отраслям и медицинским задачам с минимальным дополнительным объёмом данных.

Цитирование: Zhang, H., Wu, C., Lu, J. et al. S2SWCLIP: semantic-optimized prompts with spatial-wavelet synergy for zero-shot anomaly detection. Sci Rep 16, 13062 (2026). https://doi.org/10.1038/s41598-026-43044-3

Ключевые слова: обнаружение аномалий без обучения, модель «зрение‑язык», промышленный контроль, анализ медицинских изображений, волновые признаки изображения