S2SWCLIP : invites optimisées sémantiquement avec synergie spatial-wavelet pour la détection d’anomalies en zero-shot

Repérer de minuscules défauts sans partager de données sensibles

Les usines et les établissements de santé s’appuient de plus en plus sur des caméras pour détecter défauts et pathologies, mais collecter et annoter suffisamment d’exemples défectueux est difficile — et en médecine, souvent restreint par des règles de confidentialité. Cet article présente S2SWCLIP, une technique capable de repérer des motifs inhabituels dans des images, comme des fissures dans du métal ou des zones suspectes sur des examens, même lorsqu’elle n’a jamais vu d’exemples issus de cette ligne de production ou de cet hôpital précis. Elle y parvient en combinant un usage affûté du langage avec une manière sophistiquée d’examiner les formes et textures à l’intérieur des images.

Pourquoi il est si difficile de trouver des problèmes rares

La détection d’anomalies consiste à dire si une image, ou même un seul pixel, est normal ou défectueux. Sur les lignes de production et en imagerie médicale, les défauts véritables sont rares et très variés, si bien que les systèmes traditionnels sont principalement entraînés sur des échantillons normaux et apprennent ce qui « a l’air correct ». De nombreuses méthodes efficaces reconstruisent les images et signalent les différences, ou construisent une description compacte de l’apparence normale pour en extraire les valeurs aberrantes. Ces approches fonctionnent bien lorsqu’on dispose de données provenant du contexte cible. Mais dans des environnements sensibles à la confidentialité ou en évolution constante, il peut être impossible de réentraîner des modèles pour chaque nouveau produit ou organe. Les méthodes récentes « zero-shot » basées sur CLIP — un modèle puissant qui relie images et textes — offrent un moyen de détecter des anomalies simplement en les décrivant par des mots. Cependant, les approches existantes reposent souvent sur des invites textuelles vagues et des descripteurs d’image grossiers, ce qui peut estomper la frontière entre motifs normaux et anormaux.

Affiner le langage du normal et du cassé

S2SWCLIP s’attaque d’abord à l’aspect linguistique. Plutôt que d’utiliser une seule phrase générique comme « un objet endommagé », la méthode construit trois familles d’invites. La première est agnostique à l’objet, évoquant un élément non nommé comme étant normal ou endommagé. La seconde contraste des états clairement positifs et négatifs en utilisant des mots à portée émotionnelle comme « parfaitement » versus « gravement », assortis d’ensembles de termes impliquant des conditions impeccables ou défaillantes. Une troisième famille mentionne des types de défauts spécifiques — comme fissures ou rayures — pour concrétiser l’idée de dommage. Ces différentes phrases sont passées dans la partie texte de CLIP, et un mécanisme de fusion spécial compare et combine leurs signaux internes. En filtrant les composants bruyants et en mettant en valeur les éléments fortement corrélés, le système produit une notion plus riche et mieux séparée de ce que signifient « normal » et « anormal » avant même d’examiner une image.

Voir à la fois les détails et la vue d’ensemble dans les images

Côté visuel, S2SWCLIP retravaille la manière dont CLIP analyse les images. Les versions standard tendent à privilégier les impressions globales, qui peuvent faire manquer les lignes fines d’une fissure ou le léger ombrage marquant une pathologie précoce. Pour y remédier, les auteurs ajoutent un module de fusion hiérarchique qui mélange l’information à différentes résolutions, préservant à la fois les détails fins et les structures larges. Ils appliquent ensuite une transformée wavelet double, un outil classique de traitement du signal qui sépare une image en composantes d’arrière-plan lisses et en contours/textures plus nets. En utilisant deux types d’ondelettes, la méthode capture simultanément les variations globales douces et les changements locaux abrupts, puis les recombine en cartes de caractéristiques conscientes des fréquences. Cette « synergie espace-wavelet » offre au modèle une vision plus sensible des tout petits défauts qui ressortent par la texture ou la fréquence mais peuvent être presque invisibles à l’œil nu.

Aligner ce que nous disons avec ce que nous voyons

La dernière étape consiste à faire correspondre ces caractéristiques d’image améliorées avec les invites textuelles optimisées. Pour les images entières, S2SWCLIP mesure la proximité entre la représentation de chaque invite et la description globale de l’image. Pour les cartes pixel par pixel, il introduit un score de similarité basé sur l’entropie qui examine la quantité d’information portée par chaque région locale comparée aux caractéristiques textuelles. Les régions dont les statistiques ressemblent fortement aux invites d’anomalie mais diffèrent des invites normales sont mises en évidence comme suspectes. Le modèle est affiné sur un unique benchmark industriel puis testé, sans réentraînement, sur 14 jeux de données divers couvrant pièces manufacturées, textures et imagerie médicale. Sur la plupart de ces tests, S2SWCLIP surpasse les méthodes zero-shot antérieures en classification au niveau de l’image et en localisation au niveau du pixel, tout en maintenant un temps de calcul et un nombre de paramètres entraînables modestes.

Ce que cela signifie pour l’inspection en situation réelle

Pour un non-spécialiste, le message central est que S2SWCLIP va au-delà d’un simple « est-ce cassé ? » et d’une vision grossière, en combinant langage nuancé et regard quasi-microscopique sur la structure de l’image. En renforçant le contraste entre descriptions normales et défectueuses, et en disséquant les images en composantes multi-échelles basées sur la fréquence, la méthode détecte les défauts de manière plus fiable sans nécessiter d’exemples pour chaque nouveau contexte. Bien qu’elle puisse encore être mise en difficulté par des anomalies extrêmement subtiles se fondant dans des arrière-plans complexes, les auteurs indiquent des pistes futures — comme une analyse plus localisée et une géométrie avancée — susceptibles de réduire cette limite. Globalement, S2SWCLIP représente une avancée prometteuse vers des systèmes d’inspection flexibles et respectueux de la confidentialité, capables de s’adapter à de nouvelles industries et contextes médicaux avec un minimum de données supplémentaires.

Citation: Zhang, H., Wu, C., Lu, J. et al. S2SWCLIP: semantic-optimized prompts with spatial-wavelet synergy for zero-shot anomaly detection. Sci Rep 16, 13062 (2026). https://doi.org/10.1038/s41598-026-43044-3

Mots-clés: détection d’anomalies zero-shot, modèles vision-langage, inspection industrielle, analyse d’images médicales, descripteurs d’images par ondelettes