Пошаговый анализ чувствительности мультимодальных больших языковых моделей для выявления редких заболеваний орбиты

Почему важно быстрее получать ответы при редких глазных проблемах

Редкие болезни, поражающие орбиту — костную полость вокруг глаза — могут постепенно лишать зрения и даже представлять угрозу для жизни, но при этом они известны своей сложностью в диагностике. Многие пациенты годами ходят от врача к врачу, прежде чем получают ясный ответ. В этом исследовании проверяют, может ли новый тип искусственного интеллекта (ИИ), способный анализировать фотографии глаза и учитывать базовую клиническую информацию, помочь врачам обнаруживать эти необычные орбитальные заболевания раньше и точнее.

Распознавание редких болезней по обычным фотографиям глаза

Исследователи сосредоточились на трёх важных орбитальных проблемах: тиреоидной офтальмопатии, орбитальном воспалении и опухолях орбиты. Все они меняют внешний вид глаза и окружающих тканей. Именно поэтому простые внешние фотографии глаза выглядят перспективным исходным материалом для компьютерного скрининга. Команда собрала две большие коллекции таких снимков из больниц Китая, Сингапура и Таиланда, отражающие несколько расовых групп. Один набор данных, почти семь тысяч фотографий по одному глазу, включал здоровые глаза, орбитальные заболевания и другие глазные состояния. Второй, меньший набор содержал только пациентов с подтверждённой орбитальной патологией и дополнительные данные: возраст, пол, расу и симптомы.

Двухэтапный ИИ-помощник для врачей

На первом этапе команда дообучила визуально-языковую модель CLIP, чтобы она работала как умная регистраторша-триаж: по одной фотографии глаза модель научилась относить снимок к трём широким группам — здоровый, орбитальное заболевание или другая глазная проблема. После обучения эта модель правильно классифицировала примерно девять из десяти изображений, заметно опередив несколько широко используемых моделей глубокого обучения для изображений и более новые мультимодальные системы, не адаптированные к этой задаче. Это указывает на то, что настройка ИИ специально под орбитальные снимки даёт значительное преимущество, и что даже относительно лёгкие модели могут работать хорошо при тщательной настройке.

Наложение информации для уточнения диагноза

На втором этапе проверяли мультимодальную большую языковую модель GPT‑4o как виртуального специалиста, пытавшегося определить, какое из трёх редких орбитальных заболеваний имеет пациент. Исследователи провели эксперимент «последовательной чувствительности», постепенно добавляя модели всё больше информации, чтобы увидеть, как каждый фрагмент помогает. Когда GPT‑4o видел только фотографию глаза, его главный предположительный диагноз был верным менее чем в 14% случаев, а правильный ответ фигурировал где-то в пяти лучших вариантах лишь примерно в четверти случаев. Добавление главной жалобы пациента — например диплопии, выпячивания глаза или боли — вызвало резкий рост точности, особенно для тиреоидной офтальмопатии и орбитальных опухолей. Указание расовой принадлежности давало меньший, но заметный прирост для случаев опухолей, что, вероятно, отражает реальные различия в предрасположенности к тем или иным состояниям.

Обучение ИИ мышлению, близкому к клиническому

Затем команда направила модель с помощью структурированного «побудительного сценария рассуждения», имитирующего, как офтальмолог осматривает лицо: проверка положения глаза, век, белковой оболочки, роговицы, радужки, слёзных желёз, окружающей кожи и симметрии сторон. Особенно для орбитального воспаления такое пошаговое описание улучшило точность первого выбора модели, что говорит о том, что подталкивание ИИ следовать человеческим схемам обследования может выявлять тонкие признаки. Наконец, исследователи создали ИИ «агента», передавая триггерный результат триажа CLIP в GPT‑4o в качестве дополнительного подсказа. Такое сочетание подняло вероятность того, что правильный диагноз окажется в топ‑5 предположений, примерно до 85% в целом и более 97% для тиреоидной офтальмопатии, хотя для орбитального воспаления эффект был менее выражен и даже наблюдалось некоторое снижение, где данные были более ограничены и вариативны.

Помощь врачам в общении и планировании лечения

Помимо названия заболеваний, исследователи попросили офтальмологов оценить медицинские отчёты и рекомендации по обследованию, сгенерированные ИИ, по критериям читаемости, полноты, точности и безопасности. В среднем эксперты сочли отчёты легко понятными, в основном полными и в значительной степени корректными, с незначительными пробелами в деталях и немногими предложениями, которые могли бы представлять риск. Рекомендованные последующие тесты были ясны и в целом уместны, хотя ещё не на уровне, при котором их можно было бы применять без контроля человека. В совокупности эти выводы показывают, что такие модели уже могут помогать клиницистам объяснять результаты и предлагать разумные дальнейшие шаги.

Что это значит для пациентов с редкими заболеваниями орбиты

Эта работа показывает: когда ИИ получает и снимки, и ключевые клинические подсказки — симптомы, анамнез и направленную схему осмотра — он может стать мощным помощником в распознавании редких орбитальных заболеваний. Хотя он не заменяет обученных специалистов и требует проспективной проверки на больших и более разнообразных группах, такая двухэтапная система в будущем может работать на обычных камерах или мобильных устройствах. Она могла бы выявлять людей, которым нужна срочная специализированная помощь, сократить длительные диагностические поиски многих пациентов и поддерживать врачей понятными отчётами, что в конечном счёте повышает шансы сохранить зрение и здоровье.

Цитирование: Lei, C., Ji, K., Zhao, C. et al. Sequential sensitivity analysis of multimodal large language models for rare orbital disease detection. Commun Med 6, 175 (2026). https://doi.org/10.1038/s43856-026-01447-3

Ключевые слова: заболевание орбиты, искусственный интеллект, изображения глаза, мультимодальные модели, редкие заболевания