Контрастное встраивание на основе гиперграфов и слияние с вниманием для обнаружения рака кожи

Почему важны более умные проверки кожи

Рак кожи — один из самых распространённых видов рака, и меланома, хоть и относительно редкая, особенно опасна при позднем выявлении. Врачи могут использовать увеличенные снимки родинок и пятен, называемые дермоскопическими изображениями, чтобы искать признаки проблемы, но многие поражения выглядят обманчиво похоже. Некоторые опасные опухоли встречаются редко в реальной жизни и поэтому недостаточно представлены в обучающих данных для систем искусственного интеллекта. В этой статье представлена новая система компьютерного зрения C2G‑HFMTA, разработанная для более надёжного обнаружения рака кожи, особенно редких, но критичных случаев, а также для предоставления объяснимых выводов, понятных клиницисту.

Баланс между распространёнными и редкими пятнами на коже

Ключевая проблема автоматизированного скрининга рака кожи — несбалансированность: некоторые доброкачественные образования встречаются в наборах данных тысячи раз, тогда как серьёзные или необычные опухоли могут присутствовать лишь несколько десятков раз. Стандартные модели глубокого обучения склонны фокусироваться на большинстве и игнорировать редкие классы, что противоположно тому, чего хотят врачи. Авторы решают эту проблему, сначала реорганизовав большой дермоскопический набор HAM10000, содержащий более десяти тысяч изображений семи типов поражений кожи. Их стратегия, называемая кластеризованной сегментацией по классам (Clustered Class‑Based Segmentation), группирует изображения в три кластера — очень распространённые, умеренно распространённые и редкие поражения — и гарантирует, что во время обучения алгоритм структурированно обращает внимание на каждую группу, а не подавляется доминирующими классами.

Обучение системе понимать взаимосвязи между случаями

Вместо того чтобы просто подавать изображения в нейронную сеть и просить её запомнить шаблоны, фреймворк строит абстрактную карту отношений между изображениями. С помощью мощного экстрактора признаков (DenseNet201) каждое изображение поражения преобразуется в числовой отпечаток. Эти отпечатки становятся узлами в графе, где связи показывают, насколько похожи два поражения. Авторы идут дальше и используют «гиперграф», способный связывать сразу несколько изображений, что позволяет захватывать более богатые групповые паттерны. Поверх этой структуры они применяют контролируемую схему контрастного обучения: изображения с одним и тем же диагнозом притягиваются в этом абстрактном пространстве, а изображения с разными диагнозами отталкиваются. Существенно, что этот процесс направляется непосредственно истинными метками поражений, а не сильными искажениями изображений, поэтому сохраняются тонкие цвета и текстуры, важные для постановки диагноза.

Когда смысл направляет внимание

Второй важный компонент — модуль слияния на основе внимания, который объединяет то, что узнал граф, с сырыми визуальными деталями изображений. Представления, полученные из графа и кодирующие, как каждое поражение соотносится с другими в наборе данных, выступают как высокоуровневый «вопрос» о классе. Признаки на уровне пикселей из исходных изображений служат «доказательствами». Внутри мульти­модального блока внимания эти два потока взаимодействуют: семантические подсказки из графа направляют модель на те области и паттерны изображения, которые наиболее важны для различения трудноразличимых поражений. Резидуальные связи и многоуровневая обработка помогают сохранить тонкие детали, такие как незначительные изменения пигментации, неровности краёв или мелкие сосуды, которые часто отделяют опасное поражение от безвредного.

Насколько хорошо работает модель

Исследователи оценивали свой фреймворк на наборе HAM10000 с использованием тщательных экспериментальных протоколов, включая пятикратную кросс‑валидацию и обширные сравнения с более чем 30 популярными моделями на основе свёрточных сетей и трансформеров. Их метод достиг примерно 93% общей точности и сопоставимого F1‑показателя, значительно опередив все базовые подходы. Важно, что прирост оказался наибольшим для редких типов поражений, с которыми большинство систем испытывает трудности. Дополнительные тесты показали, что каждый компонент — кластеризация по классам, контрастное встраивание на гиперграфе и слияние внимания — вносит измеримый вклад в производительность. Визуальные инструменты, такие как t‑SNE, UMAP и тепловые карты Grad‑CAM, показали, что новый метод формирует более чёткие кластеры типов поражений и фокусирует внимание на медицински значимых областях изображения, например на неровных границах при меланоме или плотных кератиновых зонах при некоторых предраковых поражениях.

Что это значит для будущих проверок кожи

Проще говоря, это исследование представляет ИИ‑фреймворк, который одновременно справедливее и избирательнее при осмотре кожных поражений. За счёт явного балансирования распространённых и редких случаев, построения карты взаимосвязей между изображениями и использования этих взаимосвязей для направления внимания в каждом снимке, C2G‑HFMTA существенно улучшает компьютерную диагностику рака кожи. Хотя систему ещё нужно валидировать на больших и более разнообразных клинических коллекциях, она задаёт направление для будущих инструментов, которые могут помочь дерматологам — и даже приложениям для домашнего скрининга — обнаруживать опасные раковые образования кожи раньше и с большей уверенностью, не теряя из виду редкие, но важные случаи.

Цитирование: Banerjee, T., Chhabra, P., Kumar, M. et al. Hypergraph-based contrastive embedding and attention fusion for detection of skin cancer. Sci Rep 16, 12808 (2026). https://doi.org/10.1038/s41598-026-43351-9

Ключевые слова: обнаружение рака кожи, дермоскопия ИИ, контрастное обучение, несбалансированность классов, анализ медицинских изображений