S2SWCLIP: semantisch-geoptimaliseerde prompts met ruimte-wavelet-synergie voor zero-shot anomaliedetectie

Het opsporen van kleine gebreken zonder gevoelige gegevens te delen

Moderne fabrieken en ziekenhuizen vertrouwen steeds vaker op camera’s om defecten en ziektes te detecteren, maar het verzamelen en labelen van voldoende afwijkende voorbeelden is lastig — en in de geneeskunde vaak gebonden aan privacyregels. Dit artikel introduceert S2SWCLIP, een techniek die ongebruikelijke patronen in beelden kan vinden, zoals scheuren in metaal of verdachte gebieden in scans, zelfs als het nooit eerder voorbeelden van die specifieke productielijn of dat ziekenhuis heeft gezien. Dat doet het door slim taalgebruik te combineren met een verfijnde manier om vormen en texturen in beelden te analyseren.

Waarom het vinden van zeldzame problemen zo moeilijk is

Anomaliedetectie is de taak om te bepalen of een afbeelding, of zelfs een enkele pixel, normaal of defect is. Op productielijnen en in medische beeldvorming zijn echte defecten zeldzaam en sterk gevarieerd, dus traditionele systemen worden voornamelijk op normale voorbeelden getraind en leren wat “er goed uitziet.” Veel succesvolle methoden reconstrueren beelden en signaleren verschillen, of bouwen een compacte beschrijving van de normale verschijning en zoeken naar uitbijters. Deze benaderingen werken goed wanneer er enige data uit de doelsituatie beschikbaar is. Maar in privacygevoelige of continu veranderende omgevingen is er mogelijk geen mogelijkheid om modellen voor elke nieuwe productvariant of lichaamsdeel opnieuw te trainen. Recente “zero-shot”-methoden gebaseerd op CLIP — een krachtig model dat beeld en tekst koppelt — bieden een manier om anomalieën te detecteren puur door ze in woorden te beschrijven. Bestaande benaderingen vertrouwen echter vaak op vage tekstprompts en grove beeldkenmerken, waardoor de grens tussen normaal en abnormaal vervaagt.

De taal van normaal en kapot verscherpen

S2SWCLIP pakt eerst de taalkant aan. In plaats van één generieke frase zoals “een beschadigd object” bouwt de methode drie families van prompts. De ene is object-agnostisch en spreekt over een onbenoemd voorwerp dat normaal of beschadigd is. Een tweede zet duidelijk positieve en negatieve toestanden tegenover elkaar met emotioneel beladen woorden zoals “perfect” versus “ernstig,” samen met verzamelingen termen die vlekkeloos of foutief duiden. Een derde family noemt specifieke defecttypes — zoals scheuren of krassen — om het idee van schade concreter te maken. Deze verschillende zinnen worden door het tekstdeel van CLIP gehaald, en een speciale fusiemechanisme vergelijkt en combineert hun interne signalen. Door ruis te filteren en sterk gecorreleerde componenten te benadrukken, produceert het systeem een rijker, beter gescheiden begrip van wat “normaal” en “anomaal” betekenen voordat er ook maar naar een beeld is gekeken.

Zowel details als het grotere geheel in beelden zien

Aan de visuele kant herwerkt S2SWCLIP hoe CLIP naar beelden kijkt. Standaardversies neigen naar brede, algemene indrukken, die dunne lijnen van een scheur of subtiele schaduwing die vroegstadia van ziekte markeren kunnen missen. Om dit aan te pakken voegen de auteurs een hiërarchische fusiemodule toe die informatie uit verschillende resoluties mengt, zodat zowel fijne details als grote structuren behouden blijven. Vervolgens passen ze een dubbele wavelettransformatie toe, een klassiek hulpmiddel uit de signaalverwerking dat een beeld splitst in gladde achtergrondcomponenten en scherpere randen of texturen. Met twee wavelettypes vangt de methode zowel zachte globale variaties als abrupte lokale veranderingen tegelijk en recombineert deze tot frequentiebewuste featuremaps. Deze “ruimte-wavelet-synergie” geeft het model een gevoeliger blik op kleine defecten die op textuur of frequentie opvallen maar met het blote oog bijna onzichtbaar zijn.

Wat we zeggen afstemmen op wat we zien

De laatste stap is het matchen van deze verbeterde beeldkenmerken met de geoptimaliseerde tekstprompts. Voor hele beelden meet S2SWCLIP hoe nauw de representatie van elke prompt overeenkomt met de globale afbeeldingsbeschrijving. Voor pixelgewijze kaarten introduceert het een entropie-gebaseerde gelijkenheidsscore die onderzoekt hoeveel informatie elk lokaal gebied draagt vergeleken met de tekstkenmerken. Regio’s waarvan de statistieken sterk lijken op de anomalie-prompts maar afwijken van de normale prompts worden als verdacht gemarkeerd. Het model wordt fijngeslepen op één industrieel benchmark en vervolgens, zonder opnieuw te trainen, getest op 14 uiteenlopende datasets die vervaardigde onderdelen, texturen en medische beelden omvatten. Op de meeste van deze tests overtreft S2SWCLIP eerdere zero-shot-methoden zowel in beeldniveau-classificatie als in pixelniveau-localisatie, terwijl de rekentijd en het aantal trainbare parameters bescheiden blijven.

Betekenis voor inspectie in de praktijk

Voor de niet-specialist is de kernboodschap dat S2SWCLIP verder gaat dan eenvoudige “is het kapot?”-formuleringen en grove waarneming, en in plaats daarvan genuanceerde taal combineert met een microscoopachtige blik op beeldstructuur. Door het contrast tussen normale en defecte beschrijvingen te versterken en beelden te ontleden in multischalige, frequentie-gebaseerde componenten, markeert de methode defecten betrouwbaarder zonder voorbeelden van elke nieuwe situatie nodig te hebben. Hoewel het nog steeds moeite kan hebben met extreem subtiele anomalieën die opgaan in complexe achtergronden, schetsen de auteurs toekomstrichtingen — zoals meer gelokaliseerde analyse en geavanceerde geometrie — die deze kloof mogelijk kunnen dichten. Al met al biedt S2SWCLIP een veelbelovende stap naar flexibele, privacybewuste inspectiesystemen die zich met minimale extra data kunnen aanpassen aan nieuwe industrieën en medische contexten.

Bronvermelding: Zhang, H., Wu, C., Lu, J. et al. S2SWCLIP: semantic-optimized prompts with spatial-wavelet synergy for zero-shot anomaly detection. Sci Rep 16, 13062 (2026). https://doi.org/10.1038/s41598-026-43044-3

Trefwoorden: zero-shot anomaliedetectie, vision-language-modellen, industriële inspectie, medische beeldanalyse, wavelet-beeldkenmerken