Verbetering van detectie van zeldzame klassen in diepzeebeelden via generatieve augmentatie met stable diffusion

Waarom zeldzaam diepzeeleven moeilijk te vinden is

Ver ver onder het oceaandek helpen grote dieren die op de zeebodem leven, de gezondheid van diepzeeechosystemen in stand te houden. Deze dieren bevinden zich ook direct in het pad van de groeiende interesse in diepzeemijnbouw. Wetenschappers willen geautomatiseerde camerasystemen die ze betrouwbaar kunnen vinden en tellen, maar er zit een addertje onder het gras: veel soorten worden slechts een handvol keren waargenomen. Deze studie onderzoekt hoe moderne beeldgenererende kunstmatige intelligentie realistische extra voorbeelden van zeldzame soorten kan maken, waardoor detectiesoftware nauwkeuriger wordt zonder meer schepen uit te sturen.

Foto's maken in een moeilijk bereikbare wereld

Het team werkte met twee grote verzamelingen zeebodemfoto's genomen in een polymetallisch noduleveld in de westelijke Stille Oceaan. De ene set kwam van een gekoppeld camerasysteem dat een paar meter boven de bodem werd gesleept, de andere van een vrijzwemmende robot. Samen besloegen de beelden 16 diersoorten, waaronder zeekomkommers, sponzen, koralen, zeesterren, engelhanden en octopussen. Zoals bij veel wildlife-datasets waren de aantallen sterk ongelijk verdeeld: enkele veelvoorkomende dieren kwamen vaak voor, terwijl verschillende groepen minder dan 50 gelabelde voorbeelden hadden. Omdat de meeste dieren minder dan een tiende procent van elk beeld beslaan en de camera's duur zijn om te bedienen op diepten boven 4.000 meter, is het simpelweg verzamelen van meer gebalanceerde data niet praktisch.

Een beeldgenerator leren over zeldzaam zeebodleven

Om deze onbalans aan te pakken, wendden de onderzoekers zich tot een populaire beeldgeneratiemethode bekend als een diffusie-model. Ze begonnen met een krachtig, algemeen model dat getraind was op alledaagse scènes en pasten dit voorzichtig aan voor diepzeebeelden met een lichte finetuning-methode. Eerst sneden ze 175 duidelijke voorbeelden uit van zeven zeldzame diergroepen, zoals bryozoa, bepaalde koralen en octopussen, en gebruikten deze om het model te trainen om overtuigende nieuwe voorgronduitsneden van elk type te tekenen. Eenvoudige tekstpromptvariaties werden toegepast om houding, kleur, belichting en kijkhoek te variëren, zodat het model niet simpelweg de paar originele foto's kopieerde maar realistische nieuwe combinaties zou verkennen.

Het mengen van synthetische dieren in realistische zeebodsscènes

Aangezien objectdetectoren zowel dieren als hun omgeving nodig hebben, richtte een tweede fase zich op achtergronden en lay-out. Hier gebruikte het team een begeleidend controlesysteem dat het diffusie-model aanstuurt met eenvoudige maskerbeelden. Deze maskers gaven aan waar en hoe groot elk synthetisch dier moest verschijnen, gebaseerd op omvangsbereiken die in echte data werden waargenomen. Het model genereerde vervolgens zeebodachtergronden met bijpassende sediment-, rots- en nodulepatronen, en blendde de voorgronddieren soepel op hun plek terwijl belichting en kleur consistent werden gehouden. Cruciaal is dat elk masker ook een automatische begrenzingsbox leverde, wat kant-en-klare labels opleverde. Na het filteren van gebrekkige resultaten bevatte de uiteindelijke synthetische set 200 hoogwaardige voorbeelden voor elke zeldzame klasse, die werden gemengd met de originele trainingsfoto's.

Hoeveel hielpen de extra afbeeldingen?

De verbeterde dataset werd gebruikt om een modern detectienetwerk te trainen dat dieren in elk frame opspoort en labelt. Voor zowel de gesleepte als de vrijzwemmende cameradatasets verhoogde het toevoegen van synthetische afbeeldingen de belangrijkste nauwkeurigheidsscores vergeleken met trainen op alleen echte foto's. De winst was het duidelijkst voor de zeldzaamste groepen: bijvoorbeeld de prestaties voor octopussen en bryozoa verbeterden met meer dan 20 procentpunten in één dataset, en vergelijkbare verbeteringen verschenen voor bryozoa en hydrozoa in de andere. De methode presteerde ook beter dan standaardtrucs zoals willekeurige uitsneden, kleurverschuivingen en knip-en-plakcomposities. Gedetailleerde foutanalyse toonde aan dat de grootste verbetering voortkwam uit minder fouten bij het uit elkaar houden van soorten, in plaats van uit nauwkeurigere plaatsing van begrenzingsboxen.

Beperkingen, afwegingen en toekomstige richtingen

De voordelen waren niet uniform. Synthetische data hielpen minder bij de vager en verder weg genomen beelden van de vrijzwemmende robot, waar zelfs echte dieren moeilijker te zien zijn. Wanneer modellen die op het ene camerasysteem waren getraind, op het andere werden getest, daalden de prestaties sterk, wat aantoont dat verschillen in belichting en kijkafstand nog steeds een grote uitdaging vormen. De auteurs vonden ook dat meer synthetische data niet altijd beter is: de prestaties verbeterden tot een bepaald punt en vlakken daarna af, wat suggereert dat zodra de diversiteit verzadigd is, extra beelden vooral redundantie toevoegen. Ze stellen toekomstig werk voor op het gebied van scherpere lokalisatie, betere omgang met zeer kleine, wazige doelwitten, en efficiëntere generatieve modellen die veel soorten tegelijk kunnen dekken.

Wat dit betekent voor het observeren van de diepzee

Samengevat laat de studie zien dat zorgvuldig gegenereerde nepbeelden geautomatiseerde systemen merkbaar beter kunnen maken in het vinden van zeldzame diepzeedieren in echte surveilancefoto's. Door detectoren te leren hoe ongewone soorten er onder veel realistische omstandigheden uit kunnen zien, vermindert deze aanpak gemiste waarnemingen zonder de prestaties op veelvoorkomende dieren te schaden. Hoewel het de noodzaak van echte expedities of deskundige controles niet wegneemt, biedt het een praktische manier om beperkte data verder te rekken en zo betrouwbaardere monitoring van kwetsbare diepzeehabitats te ondersteunen naarmate industriële activiteit dieper het water in verschuift.

Bronvermelding: Deng, J., Duan, M., Wei, D. et al. Improving rare-class detection in deep-sea imagery via generative augmentation with stable diffusion. Sci Rep 16, 15910 (2026). https://doi.org/10.1038/s41598-026-45732-6

Trefwoorden: diepzeebeelden, data-augmentatie, stable diffusion, detectie van zeldzame soorten, onderwaterrobotica