Мультимодальный набор изображений сетчатки для выявления диабетической ретинопатии с использованием фундаментальных моделей

Почему важно выявлять повреждения глаза на ранней стадии

У людей с диабетом повреждение светочувствительной ткани в задней части глаза может тихо прогрессировать годами прежде чем зрение заметно ухудшится. К тому моменту, когда появляются симптомы, часть ущерба может оказаться необратимой. Врачи знают, что регулярные обследования глаз позволяют обнаружить проблему на ранней стадии, но ручное чтение тысяч изображений медленное и дорогое. В этом исследовании представлен большой, тщательно размеченный набор изображений сетчатки, предназначенный для того, чтобы помочь системам искусственного интеллекта точнее и надежнее выявлять диабетическое поражение глаза, обеспечивая раннее предупреждение для гораздо большего числа пациентов.

Разные виды съёмки одной и той же проблемы глаза

Офтальмологи используют несколько типов камер для поиска повреждений, связанных с диабетом. Стандартные цветные фотографии заднего отдела глаза показывают округлую красноватую область, где могут появляться мелкие кровоизлияния, жировые отложения и новые хрупкие сосуды. Ультра‑широкоугольные снимки охватывают гораздо большую площадь, включая отдалённые периферийные участки сетчатки, где ранние повреждения могут скрываться. Третий инструмент — оптическая когерентная томография (ОКТ) — делает поперечные срезы сетчатки, выявляя отёки и полости с жидкостью, связанные с грозящим зрению макулярным отёком. Каждый метод показывает разные фрагменты одного и того же патологического процесса, и в сумме они дают более полную картину состояния глаза.

Что нового в этой коллекции изображений

Существующие публичные наборы данных послужили основой для многих ИИ‑систем скрининга диабетического поражения глаза, но большинство из них ориентированы только на один метод визуализации и содержат лишь грубые метки, например единую оценку степени заболевания. Некоторые наборы содержат шумные метки или не охватывают важные типы поражений, и многие лишены хорошего представительства широкоугольных снимков или подробной информации о макулярном отёке. Новый набор MMRDR призван заполнить эти пробелы. Он собирает 24 460 изображений по трём модальностям — стандартные цветные фото, ультра‑широкоугольные снимки и ОКТ — и снабжён подробными экспертными аннотациями. Для цветных и широкоугольных изображений врачи поставили общую оценку заболевания по пятибалльной шкале и зафиксировали семь конкретных типов поражений, таких как мелкие выпячивания в сосудах, кровоизлияния и отслойка сетчатки. Для ОКТ они описали, отсутствует ли макулярный отёк, присутствует вне центра, или непосредственно затрагивает центр зрения.

Как отбирались и размечались изображения

Авторы взяли стандартные цветные фотографии из уже существующего публичного набора для соревнования и получили широкоугольные и ОКТ‑изображения из крупной китайской глазной клиники, сосредоточившись на пациентах с диабетом. Они удалили изображения низкого качества с размытостью, плохим освещением или отсутствием центральных областей, чтобы оставшиеся снимки были клинически полезны. Четверо опытных офтальмологов и старший ретинальный специалист разработали понятные правила градации на основе международных рекомендаций. Специалист сначала создал референсный набор изображений, после чего остальные градеры отрабатывали практику на этом наборе, пока их решения не стали хорошо согласовываться с экспертом. Затем они независимо размечали тысячи изображений, а сомнительные случаи возвращали специалисту. Финальная коллекция сочетает тщательную разметку со стабильным согласием между врачами, делая её надёжным учебным набором для ИИ.

Тестирование современных ИИ на данных завтрашнего дня

Команда затем использовала набор данных для оценки нескольких типов продвинутых моделей ИИ. Они тестировали крупные визуально‑языковые модели, изначально обученные на общих изображениях и текстах, обычные классификаторы изображений, обученные на повседневных фотографиях, и более новые «фундаментальные» модели, уже настроенные на офтальмологические изображения. Во всех случаях модели испытывали наибольшие трудности с ультра‑широкоугольными снимками, где гораздо больший охват и более сложные паттерны снижали точность по сравнению со стандартными цветными фото. Модели, специально предназначенные для изображений глаза, показали лучшую переносимость с обычных на широкоугольные виды, чем общие мультимодальные системы, что указывает на важность знаний о структуре сетчатки. Когда исследователи дообучили одну крупную мультимодальную модель на MMRDR, её показатели заметно улучшились, демонстрируя, что этот набор данных способен научить даже очень гибкие ИИ‑системы лучше работать с заболеваниями глаза.

Что это значит для будущей офтальмологической помощи

Проще говоря, эта работа предоставляет высококачественную учебную библиотеку для компьютеров, обучающихся распознавать диабетическое поражение глаза. Комбинируя три дополняющие друг друга методики визуализации и подробные экспертные метки, набор MMRDR позволяет исследователям создавать и справедливо сравнивать ИИ‑инструменты, которые оценивают тяжесть заболевания, обнаруживают отдельные поражения и отслеживают макулярный отёк. Хотя одни только эти изображения не излечат слепоту, они обеспечивают важную основу для более надёжных автоматизированных систем скрининга, которые могли бы раньше выявлять угрожающие зрению изменения и делать экспертную офтальмологическую помощь доступной для большего числа людей с диабетом.

Цитирование: Tang, Z., Wang, L., Guo, Z. et al. A multimodal retinal image dataset for diabetic retinopathy detection using foundation models. Sci Data 13, 639 (2026). https://doi.org/10.1038/s41597-026-07005-9

Ключевые слова: диабетическая ретинопатия, изображение сетчатки, медицинский ИИ, фундаментальные модели, офтальмологическая ОКТ