Mejorar la detección de clases raras en imágenes de aguas profundas mediante aumento generativo con stable diffusion

Por qué es difícil detectar la vida rara en las profundidades

Muy por debajo de la superficie oceánica, los animales grandes que viven en el fondo ayudan a mantener la salud de los ecosistemas de aguas profundas. Estas criaturas también están directamente en la trayectoria del creciente interés por la minería en el lecho marino. Los científicos quieren sistemas de cámaras automáticos que puedan localizarlas y contarlas con fiabilidad, pero hay un problema: muchas especies se observan solo unas pocas veces. Este estudio explora cómo la inteligencia artificial moderna generadora de imágenes puede crear ejemplos realistas adicionales de especies raras, ayudando a que el software de detección sea más preciso sin tener que enviar más barcos al mar.

Fotografiar un mundo de difícil acceso

El equipo trabajó con dos grandes colecciones de fotografías del lecho marino tomadas en un campo de nódulos polimetálicos en el Pacífico occidental. Un conjunto provenía de un sistema de cámara amarrada remolcado a pocos metros sobre el fondo, y el otro de un robot autónomo nadador. En conjunto, las imágenes cubrieron 16 tipos de animales, incluidos pepinos de mar, esponjas, corales, estrellas de mar, ofiuras y pulpos. Como en muchos conjuntos de datos de fauna, los recuentos eran muy desiguales: unos pocos animales comunes aparecían con frecuencia, mientras que varios grupos tenían menos de 50 ejemplos etiquetados. Dado que la mayoría de los animales ocupan menos de una décima de punto porcentual de cada imagen, y las cámaras son caras de operar a profundidades superiores a 4.000 metros, simplemente recopilar datos más equilibrados no resulta práctico.

Enseñar a un generador de imágenes sobre la vida rara del fondo marino

Para abordar este desequilibrio, los investigadores recurrieron a un método popular de generación de imágenes conocido como modelo de difusión. Partieron de una versión potente de uso general entrenada en escenas cotidianas, y la adaptaron suavemente a imágenes de aguas profundas mediante un método de ajuste ligero. Primero, recortaron 175 ejemplos nítidos de siete grupos de animales raros, como briozoos, ciertos corales y pulpos, y usaron estos recortes para entrenar al modelo a dibujar nuevos recortes de primer plano convincentes de cada tipo. Se variaron indicaciones de texto sencillas para fomentar cambios en la pose, el color, la iluminación y el ángulo de visión, de modo que el modelo no se limitara a copiar las pocas fotos originales sino que explorara combinaciones nuevas y realistas.

Integrar animales sintéticos en escenas realistas del lecho marino

Como los detectores de objetos necesitan tanto los animales como su entorno, una segunda etapa se centró en los fondos y la distribución. Aquí, el equipo utilizó un sistema de control complementario que guía al modelo de difusión mediante imágenes de máscara simples. Estas máscaras especificaban dónde y de qué tamaño debía aparecer cada animal sintético, basadas en los rangos de tamaño observados en los datos reales. El modelo generó entonces fondos del lecho marino con sedimento, rocas y patrones de nódulos coherentes, integrando los animales de primer plano de forma suave y manteniendo la consistencia de iluminación y color. Crucialmente, cada máscara también proporcionó una caja delimitadora automática, ofreciendo etiquetas listas para usar. Tras filtrar los resultados defectuosos, el conjunto sintético final contenía 200 ejemplos de alta calidad para cada clase rara, que se mezclaron con las fotos de entrenamiento originales.

¿Cuánto ayudaron las imágenes adicionales?

El conjunto mejorado se utilizó para entrenar una red de detección moderna que localiza y etiqueta animales en cada fotograma. En ambos conjuntos de datos, el del remolque y el del robot nadador, añadir imágenes sintéticas elevó las principales puntuaciones de precisión en comparación con entrenar solo con fotos reales. Las ganancias fueron más llamativas para los grupos más raros: por ejemplo, el rendimiento para pulpos y briozoos mejoró en más de 20 puntos porcentuales en un conjunto, y se observaron aumentos similares para briozoos e hidrozoos en el otro. El método también superó a trucos estándar como recortes aleatorios, cambios de color y composiciones de recortar y pegar. Un análisis detallado de errores mostró que la mayor mejora provino de menos confusiones entre especies, más que de una colocación más precisa de las cajas.

Límites, compensaciones y direcciones futuras

Los beneficios no fueron uniformes. Los datos sintéticos ayudaron menos en las imágenes más borrosas y lejanas del robot nadador, donde incluso los animales reales son más difíciles de ver. Cuando los modelos entrenados con un sistema de cámara se probaron en el otro, el rendimiento cayó bruscamente, lo que demuestra que las diferencias en iluminación y distancia de visión siguen siendo un desafío importante. Los autores también encontraron que más datos sintéticos no siempre son mejores: el rendimiento mejoró hasta cierto punto y luego se estabilizó, lo que sugiere que una vez saturada la diversidad, las imágenes adicionales aportan principalmente redundancia. Proponen trabajos futuros sobre una localización más precisa, mejor manejo de objetivos muy pequeños y difusos, y modelos generativos más eficientes que abarquen muchas especies a la vez.

Qué significa esto para vigilar las profundidades

En términos sencillos, el estudio muestra que imágenes falsas generadas con cuidado pueden hacer que los sistemas automáticos sean notablemente mejores para encontrar animales raros de aguas profundas en fotos de muestreos reales. Al enseñar a los detectores cómo podrían verse especies inusuales en muchas condiciones realistas, este enfoque reduce los avistamientos perdidos sin perjudicar el rendimiento sobre animales comunes. Aunque no elimina la necesidad de expediciones reales ni de verificaciones expertas, ofrece una forma práctica de estirar más los datos limitados, apoyando un monitoreo más fiable de hábitats frágiles de aguas profundas a medida que la actividad industrial se desplaza a mayores profundidades.

Cita: Deng, J., Duan, M., Wei, D. et al. Improving rare-class detection in deep-sea imagery via generative augmentation with stable diffusion. Sci Rep 16, 15910 (2026). https://doi.org/10.1038/s41598-026-45732-6

Palabras clave: imágenes de aguas profundas, aumento de datos, stable diffusion, detección de especies raras, robótica subacuática