Обнаружение морфологии кораллов на подводных изображениях с использованием YOLOv12 с объединением свёрточной нейросети и трансформер-энкодера

Почему формы кораллов важны для всех нас

Коралловые рифы — это не просто красивая подводная обстановка; их формы влияют на то, насколько хорошо они защищают побережья, служат убежищем для морских организмов и поддерживают рыболовство и туризм. Наблюдение за тем, как эти формы кораллов меняются со временем, ключевое для понимания состояния рифов в условиях потепления и усиленного загрязнения океана. В этом исследовании предлагается новый способ автоматически выявлять различные виды роста кораллов на подводных фотографиях, что помогает учёным отслеживать состояние рифов быстрее и надёжнее.

Трудности визуализации под водой

Мониторинг коралловых рифов долгое время опирался на трудёмкую ручную разметку снимков дайверами — процесс медленный, затратный и подверженный субъективности. Подводные изображения трудны для алгоритмов: свет поглощается и рассеивается, цвета искажаются, а взвешенные частицы скрывают мелкие детали. Разные формы роста кораллов — разветвлённые, массивные и плоские пластинчатые — в мутной воде могут выглядеть похоже и запутывающе. Ранние инструменты искусственного интеллекта часто испытывали сложности в таких условиях: пропускали мелкие колонии, путали похожие формы или работали слишком медленно для использования в реальном времени на роботах-исследователях.

Более «умный» цифровой глаз для рифов

Исследователи опираются на популярное семейство быстрых детекторов объектов YOLO, взяв в качестве базы последнюю версию YOLOv12. Они добавляют два взаимодополняющих компонента: сеть, хорошо улавливающую локальные текстуры и контуры, и модуль, способный улавливать глобальную структуру сцены. Первый компонент, свёрточная нейросеть (CNN), фиксирует тонкие визуальные детали — мелкие веточки кораллов и узоры на поверхности. Второй, трансформер-энкодер, просматривает изображение в целом, чтобы понять расположение колоний и их отличие от камней, песка или водорослей. Специальный модуль слияния объединяет эти локальные и глобальные сигналы, позволяя системе распознавать тонкие различия между формами кораллов.

Как система обучается распознавать формы кораллов

Для обучения и тестирования модели команда использует общедоступную коллекцию подводных изображений, включающую ключевые морфологии кораллов: разветвлённую, массивную и табулярную. Изображения изменяют по размеру и усиливают, применяя разнообразные цветовые и геометрические преобразования, чтобы модель видела многие варианты одной и той же сцены, имитируя реальные изменения глубины, освещения и прозрачности воды. Внутри детектора признаки обрабатываются на нескольких масштабах, чтобы можно было обнаруживать и мелкие кончики кораллов, и крупные колонии. Объединённая информация затем передаётся в этап детекции, который выводит ограничивающие рамки вокруг колоний и присваивает каждой категорию формы роста.

Что показывают результаты

Объединённая модель, названная YOLOv12-CT, протестирована в сравнении с рядом известных систем детекции, включая предыдущие версии YOLO, классические детекторы глубокого обучения и современные трансформерные архитектуры. По стандартным метрикам качества — сколько колоний найдено, насколько часто метки верны и с какой точностью расположены границы — новый метод показывает лучшие результаты. Он достигает высокого среднего значения точности (mAP) на типичных порогах оценки, превосходя все модели сравнения и при этом сохраняя время обработки, подходящее для почти реального времени. Система особенно успешно распознаёт плоские, пластинчатые кораллы и существенно улучшает обнаружение сложных разветвлённых форм, которые обычно труднее всего различить в мутной воде.

Значение для охраны рифов

Более точное и эффективное определение форм роста кораллов облегчает отслеживание структуры рифов, биоразнообразия и устойчивости во времени. Методу по-прежнему присущи ограничения, такие как дисбаланс обучающих данных и дополнительные вычислительные затраты трансформерных модулей, а также возможные колебания качества работы в очень суровых или мало знакомых подводных условиях. Тем не менее исследование показывает, что сочетание детализированных текстурных признаков с более широким взглядом на сцену может дать морским учёным мощный новый инструмент для масштабного автоматизированного мониторинга кораллов, способствуя принятию более обоснованных решений в области сохранения и восстановления.

Цитирование: Nandal, P., Siwach, M. & Upadhyay, G.M. Coral morphology detection in underwater imagery using YOLOv12 with CNN and transformer encoder fusion. Sci Rep 16, 15426 (2026). https://doi.org/10.1038/s41598-026-42591-z

Ключевые слова: морфология кораллов, подводная съёмка, глубокое обучение, обнаружение объектов, мониторинг рифов