Мультимодальные модели для классификации рака кожи с использованием клинического свободного текста и дерматоскопических изображений

Почему более разумные проверки кожи важны

Рак кожи встречается часто, но при раннем обнаружении прогноз обычно благоприятный. Врачи уже используют крупные фотографии родинок, чтобы решить, какие из них выглядят тревожно. В этом исследовании поставлен простой, но важный вопрос: если компьютеры могли бы не только анализировать изображения, но и читать записи врача о каждой родинке, смогли бы они обнаруживать рак кожи точнее и справедливее?

Изображения и слова рассказывают более полную историю

Исследователи собрали большую базу данных из рутинных дерматологических клиник Великобритании. Она включала 5481 дерматоскопическое изображение высокого разрешения от 4538 взрослых, а также базовые сведения о пациентах, такие как возраст и фототип кожи, и четыре вида клинических заметок. Эти заметки описывали внешность и динамику поражения, наличие семейного риска рака кожи, степень солнечного воздействия и мнение хирурга с планом действий. Каждый случай был помечен как доброкачественный или злокачественный, при этом злокачественные случаи подтверждали биопсией, когда это было возможно.

Скрытые подсказки в клинических заметках

В отличие от простых данных с галочками, свободный текст позволяет врачам описывать тонкие признаки: родинку, ставшую темнее, участок, который кровоточит, или пациента, много лет работавшего на открытом воздухе. Такие детали могут быть очень информативны, но они также могут раскрывать ответ. Во многих заметках встречается то, что авторы называют ведущей формулировкой: фразы, прямо указывающие или сильно намекающие на диагноз или лечение, например «базальноклеточный карцинома, направить на биопсию» или «лечение не требуется». Если модель машинного обучения просто опирается на эти сокращения, она может выглядеть очень точной на исторических данных, но научиться мало тому, как действительно распознавать рак по изображениям или описаниям, сообщаемым пациентом.

Обучение компьютеров игнорировать подсказки

Чтобы решить эту проблему, команда разработала несколько уровней очистки текста. Простые правила сначала удаляли явные названия кожных заболеваний и слова «доброкачественно» и «злокачественно». Затем использовали большую языковую модель для более тонкой фильтрации. В одном варианте ключевые диагностические фразы и планы лечения заменяли нейтральными тэгами, чтобы можно было измерить, насколько каждый тип утверждений повышает производительность. В самом строгом варианте сохраняли только фактическую информацию, которую пациент мог бы разумно сообщить сам, например, сколько лет присутствует родинка или привычки солнечного воздействия в прошлом. Такой подход стремился приблизить текст к тому, что увидело бы пациент-ориентированное приложение, а не полагаться на внутренние подсказки специалистов.

Что модели действительно научились

Когда модель полагалась только на изображения, она показывала хорошие результаты, но добавление нефильтрованных заметок заметно улучшило показатели. Основная метрика точности, площадь под кривой рабочей характеристики приемник—оператор (AUROC), выросла с 0,909 при использовании только изображений до 0,970 при сочетании изображений и исходных заметок. Даже когда весь очевидный диагностический язык был удалён, объединение изображений с тщательно отфильтрованным текстом всё ещё давало AUROC примерно 0,948, что выше, чем у любого источника по отдельности. Эксперименты с помеченными фразами показали, что простые действия вроде «направить в больницу» несут почти столько же информации, сколько прямое обозначение рака, что подтверждает наличие сильной встроенной предвзятости во многих заметках. Авторы также проанализировали результаты по возрастным группам и категориям тона кожи и обнаружили относительно низкий уровень несправедливости как в моделях только на изображениях, так и в полностью мультимодальных моделях.

Что это значит для будущих проверок кожи

Главный вывод для неспециалистов: заметки врачей содержат реальные, полезные подсказки, которые могут помочь компьютерам поддерживать принятие решений по раку кожи, но с ними нужно обращаться осторожно. Если моделям позволить читать нефильтрованные заметки, они могут начать имитировать формулировки врачей, а не научиться распознавать рискованные родинки самостоятельно. Это исследование показывает, что продуманная очистка текста и его объединение с изображениями и базовыми данными о пациенте позволяют повысить точность и снизить скрытую предвзятость. Со временем такие мультимодальные инструменты могли бы помочь врачам первичного звена лучше направлять пациентов к специалистам и сократить ожидание, а также заложить основу для безопасных систем, учитывающих текст, которые в будущем могли бы напрямую помогать пациентам.

Цитирование: Watson, M., Winterbottom, T., Hudson, T. et al. Multimodal models for skin cancer classification using clinical freetext and dermatoscopic images. Commun Med 6, 277 (2026). https://doi.org/10.1038/s43856-026-01456-2

Ключевые слова: рак кожи, машинное обучение, дерматология, клинические заметки, медицинская визуализация