Améliorer la détection des classes rares dans l’imagerie des grands fonds par augmentation générative avec Stable Diffusion

Pourquoi la vie rare des grands fonds est difficile à repérer

Bien loin de la surface, les grands animaux benthiques contribuent à la santé des écosystèmes des grands fonds. Ces créatures se trouvent aussi directement dans la ligne d’intérêt liée à l’exploitation minière des grands fonds. Les scientifiques souhaitent des systèmes de caméras automatisés capables de les détecter et de les compter de manière fiable, mais il y a un obstacle : de nombreuses espèces n’apparaissent que très rarement. Cette étude examine comment les outils modernes d’IA générative d’images peuvent produire des exemples supplémentaires réalistes d’espèces rares, aidant les logiciels de détection à gagner en précision sans multiplier les campagnes en mer.

Prendre des photos dans un monde difficile d’accès

L’équipe a travaillé avec deux grandes collections de photographies du plancher océanique prises dans un champ de nodules polymétalliques dans le Pacifique occidental. Un jeu provenait d’un système de caméra câblée remorqué quelques mètres au‑dessus du fond, l’autre d’un robot librement mobile. Ensemble, les images couvraient 16 types d’animaux, dont holothuries, éponges, coraux, étoiles de mer, ophiures et poulpes. Comme dans beaucoup de jeux de données faune, les effectifs étaient très déséquilibrés : quelques espèces communes apparaissaient souvent, tandis que plusieurs groupes comptaient moins de 50 exemples annotés. De plus, la plupart des animaux occupent moins d’un dixième de pour cent de chaque image, et les caméras sont coûteuses à exploiter au‑delà de 4 000 mètres de profondeur, si bien qu’il n’est pas pratique de simplement collecter davantage de données équilibrées.

Apprendre au générateur d’images la vie rare du plancher océanique

Pour traiter ce déséquilibre, les chercheurs se sont tournés vers une méthode populaire de génération d’images appelée modèle de diffusion. Ils ont commencé par une version polyvalente et puissante entraînée sur des scènes quotidiennes, puis l’ont adaptée en douceur à l’imagerie des grands fonds via une méthode d’ajustement légère. D’abord, ils ont recadré 175 exemples clairs de sept groupes d’animaux rares, tels que bryozoaires, certains coraux et poulpes, et les ont utilisés pour entraîner le modèle à produire de nouvelles découpes de premier plan convaincantes pour chaque type. Des invites textuelles variées ont été employées pour encourager des changements de pose, de couleur, d’éclairage et d’angle de vue, afin que le modèle n’imite pas simplement les rares photos d’origine mais explore de nouvelles combinaisons réalistes.

Mélanger des animaux synthétiques dans des scènes réalistes du plancher océanique

Parce que les détecteurs d’objets ont besoin à la fois des animaux et de leur contexte, une seconde étape s’est concentrée sur les arrière‑plans et la composition. Ici, l’équipe a utilisé un système de contrôle compagnon qui guide le modèle de diffusion à l’aide de simples masques. Ces masques indiquaient où et de quelle taille chaque animal synthétique devait apparaître, d’après les plages de tailles observées dans les données réelles. Le modèle a alors généré des arrière‑plans de plancher océanique avec des motifs de sédiments, roches et nodules assortis, intégrant les animaux de premier plan de façon homogène tout en maintenant la cohérence d’éclairage et de couleur. Crucialement, chaque masque fournissait également une boîte englobante automatique, livrant des annotations prêtes à l’emploi. Après filtrage des résultats défectueux, l’ensemble synthétique final contenait 200 exemples de haute qualité pour chaque classe rare, qui ont été mélangés aux photos d’entraînement originales.

Dans quelle mesure les images supplémentaires ont‑elles aidé ?

Le jeu de données enrichi a servi à entraîner un réseau de détection moderne capable de repérer et d’étiqueter les animaux sur chaque image. Sur les deux jeux de données (caméra remorquée et robot libre), l’ajout d’images synthétiques a augmenté les scores de précision principaux par rapport à un entraînement sur seules photos réelles. Les gains furent les plus marqués pour les groupes les plus rares : par exemple, les performances pour les poulpes et les bryozoaires se sont améliorées de plus de 20 points de pourcentage sur un jeu de données, et des augmentations similaires sont apparues pour les bryozoaires et les hydrozoaires sur l’autre. La méthode a également surpassé des astuces classiques comme les recadrages aléatoires, les décalages de couleur et les composites cut‑and‑paste. Une analyse d’erreurs détaillée a montré que la plus grande amélioration provenait d’une réduction des confusions entre espèces, plutôt que d’un meilleur placement des boîtes.

Limites, compromis et pistes futures

Les bénéfices n’étaient pas uniformes. Les données synthétiques ont aidé moins sur les images plus floues et plus éloignées du robot libre, où même les animaux réels sont plus difficiles à discerner. Quand des modèles entraînés sur un système de caméra ont été testés sur l’autre, les performances ont chuté fortement, montrant que les différences d’éclairage et de distance de prise de vue restent un défi majeur. Les auteurs ont aussi observé que plus de données synthétiques n’est pas toujours meilleur : la performance s’améliore jusqu’à un certain seuil puis se stabilise, ce qui suggère qu’une fois la diversité saturée, les images supplémentaires n’apportent que de la redondance. Ils proposent de futurs travaux sur une localisation plus précise, une meilleure prise en charge des cibles très petites et floues, et des modèles génératifs plus efficaces couvrant de nombreuses espèces simultanément.

Ce que cela signifie pour la surveillance des grands fonds

En termes simples, l’étude montre que des images artificielles soigneusement générées peuvent rendre les systèmes automatisés sensiblement meilleurs pour repérer des animaux rares des grands fonds sur des photos réelles de campagnes. En apprenant aux détecteurs à reconnaître à quoi peuvent ressembler des espèces inhabituelles dans de nombreuses conditions réalistes, cette approche réduit les détections manquées sans nuire aux performances sur les espèces communes. Sans remplacer le besoin d’expéditions réelles ou de vérifications d’experts, elle offre un moyen pratique d’étirer des données limitées, soutenant une surveillance plus fiable d’habitats fragiles des grands fonds à mesure que l’activité industrielle s’étend en eaux plus profondes.

Citation: Deng, J., Duan, M., Wei, D. et al. Improving rare-class detection in deep-sea imagery via generative augmentation with stable diffusion. Sci Rep 16, 15910 (2026). https://doi.org/10.1038/s41598-026-45732-6

Mots-clés: imagerie des grands fonds, augmentation de données, stable diffusion, détection d’espèces rares, robotique sous-marine