Migliorare il rilevamento delle classi rare nelle immagini in acque profonde tramite aumento generativo con stable diffusion

Perché la vita profonda rara è difficile da individuare

Lontano sotto la superficie dell’oceano, i grandi animali che vivono sul fondale contribuiscono alla salute degli ecosistemi abissali. Queste creature sono inoltre direttamente coinvolte nell’interesse crescente per lo sfruttamento minerario profondo. Gli scienziati vorrebbero sistemi di videoregistrazione automatizzati in grado di trovarle e contarle con affidabilità, ma c’è un problema: molte specie sono osservate solo poche volte. Questo studio esplora come l’intelligenza artificiale moderna per la generazione di immagini possa creare esempi realistici aggiuntivi di specie rare, aiutando il software di rilevamento a diventare più accurato senza dover mandare in mare più navi.

Fotografare un mondo difficile da raggiungere

Il team ha lavorato con due grandi raccolte di fotografie del fondale scattate in un campo di noduli polimetallici nel Pacifico occidentale. Un insieme proveniva da un sistema di videocamera vincolata trainato a pochi metri dal fondale, l’altro da un robot libero di nuotare. Insieme, le immagini coprivano 16 tipi di animali, tra cui oloturie, spugne, coralli, stelle marine, ofiure e polpi. Come in molti dataset naturalistici, le frequenze erano molto sbilanciate: poche specie comuni comparivano spesso, mentre diversi gruppi avevano meno di 50 esempi etichettati. Poiché la maggior parte degli animali occupa meno di un decimo di punto percentuale di ciascuna immagine, e le videocamere sono costose da usare a profondità superiori ai 4.000 metri, raccogliere semplicemente dati più equilibrati non è praticabile.

Insegnare a un generatore d’immagini la vita rara del fondale

Per affrontare questo sbilanciamento, i ricercatori si sono rivolti a un popolare metodo di generazione d’immagini noto come modello di diffusione. Sono partiti da una versione potente e di uso generale, addestrata su scene quotidiane, poi l’hanno adattata con cautela alle immagini abissali usando un metodo di messa a punto leggero. Innanzitutto hanno ritagliato 175 esempi netti di sette gruppi animali rari, come briozoi, alcuni coralli e polpi, e li hanno impiegati per addestrare il modello a disegnare nuovi ritagli di primo piano convincenti per ciascun tipo. Prompt testuali semplici sono stati variati per favorire cambiamenti di posa, colore, illuminazione e angolazione di visuale, così che il modello non si limitasse a copiare le poche foto originali ma esplorasse nuove combinazioni realistiche.

Fondere animali sintetici in scene realistiche del fondale

Poiché i rilevatori di oggetti richiedono sia gli animali sia il loro contesto, una seconda fase si è concentrata su sfondi e disposizione. Qui il team ha usato un sistema di controllo complementare che guida il modello di diffusione tramite maschere semplici. Queste maschere specificavano dove e di che dimensione doveva apparire ciascun animale sintetico, basandosi sugli intervalli di dimensione osservati nei dati reali. Il modello ha quindi generato sfondi del fondale con sedimenti, rocce e motivi di noduli corrispondenti, fondendo gli animali in primo piano in modo omogeneo mantenendo coerenza di illuminazione e colore. Crucialmente, ogni maschera forniva anche una scatola di delimitazione automatica, offrendo etichette pronte all’uso. Dopo aver filtrato i risultati difettosi, il set sintetico finale conteneva 200 esempi di alta qualità per ogni classe rara, che sono stati mescolati con le foto di addestramento originali.

Quanto hanno aiutato le immagini extra?

Il dataset migliorato è stato usato per addestrare una moderna rete di rilevamento che individua e etichetta gli animali in ogni frame. In entrambi i dataset, sia quello trainato che quello del robot libero, l’aggiunta di immagini sintetiche ha aumentato i principali punteggi di accuratezza rispetto all’addestramento solo con foto reali. I guadagni sono stati più evidenti per i gruppi più rari: per esempio, le prestazioni per polpi e briozoi sono migliorate di oltre 20 punti percentuali in un dataset, e aumenti simili sono comparsi per briozoi e idrozoi nell’altro. Il metodo ha anche superato gli espedienti standard come ritagli casuali, variazioni di colore e compositi cut-and-paste. Un’analisi dettagliata degli errori ha mostrato che il miglioramento maggiore è venuto dalla riduzione degli sbagli nel distinguere le specie, più che da una maggior precisione nella posizione delle scatole.

Limiti, compromessi e direzioni future

I benefici non sono stati uniformi. I dati sintetici hanno aiutato meno nelle immagini più sfocate e più distanti del robot libero, dove anche gli animali reali sono più difficili da vedere. Quando modelli addestrati su un sistema di videocamere sono stati testati sull’altro, le prestazioni sono calate bruscamente, mostrando che le differenze di illuminazione e distanza di ripresa restano una sfida importante. Gli autori hanno inoltre rilevato che più dati sintetici non sono sempre meglio: le prestazioni migliorano fino a un certo punto e poi si stabilizzano, suggerendo che una volta saturata la diversità le immagini extra aggiungono soprattutto ridondanza. Propongono lavori futuri su una localizzazione più nitida, una gestione migliore dei bersagli molto piccoli e sfocati e modelli generativi più efficienti che coprano molte specie insieme.

Cosa significa per l’osservazione del mare profondo

In termini semplici, lo studio mostra che immagini finemente generate possono rendere i sistemi automatizzati sensibilmente più bravi a trovare animali rari del fondale nelle foto di indagine reali. Insegnando ai rilevatori come potrebbero apparire specie insolite in molte condizioni realistiche, questo approccio riduce le rilevazioni mancate senza danneggiare le prestazioni sulle specie comuni. Pur non eliminando la necessità di spedizioni reali o controlli esperti, offre un modo pratico per estendere dati limitati, supportando un monitoraggio più affidabile di habitat abissali fragili mentre l’attività industriale si spinge in acque più profonde.

Citazione: Deng, J., Duan, M., Wei, D. et al. Improving rare-class detection in deep-sea imagery via generative augmentation with stable diffusion. Sci Rep 16, 15910 (2026). https://doi.org/10.1038/s41598-026-45732-6

Parole chiave: immagini in acque profonde, aumento dei dati, stable diffusion, rilevamento di specie rare, robotica subacquea