Продвижение разговорного диагностического ИИ с мультимодальным рассуждением

Почему умные онлайн‑чаты о здоровье важны

Многие из нас теперь обращаются к онлайн‑чатам или приложениям, когда плохо себя чувствуют, отправляя фотографии сыпи, снимки результатов анализов или снимки кардиограммы с часов. Тем не менее большинство медицинских чат‑ботов по‑прежнему работают только с текстом, игнорируя богатый поток изображений и документов. В этой статье рассматривается новый тип медицинского ИИ‑ассистента, который может «видеть» и «говорить», интегрируя изображения и медицинские записи в разговор так, как это сделал бы внимательный врач на приеме по телемедицине.

Новый вид медицинского помощника

Исследователи создали обновленную версию системы под названием Articulate Medical Intelligence Explorer, или AMIE. Вместо того чтобы только читать и писать, этот мультимодальный AMIE может получать фотографии кожи, изображения электрокардиограмм и клинические документы в ходе чата. Он затем обобщает все это вместе с письменной историей пациента. «Под капотом» AMIE работает на мощной общей модели языка и зрения, но обернут в структуру, которая направляет его через типичные этапы медицинского визита: задавание вопросов, формулирование вероятных причин и предложение последующих шагов.

Управляемые беседы, которые адаптируются

Настоящие врачи не задают вопросы наугад. Они слушают, формируют мысленную картину пациента и корректируют вопросы по мере появления новых подсказок. Чтобы имитировать это, команда разработала так называемую фреймворк диалога с учётом состояния. По мере развития чата AMIE поддерживает внутреннее краткое изложение анамнеза пациента, симптомов и загруженных изображений или документов. Он также хранит скрытый список возможных диагнозов и пробелов в знаниях. Это внутреннее состояние помогает AMIE решать, когда продолжать расспросы об истории, когда запросить фото или ЭКГ, когда достаточно информации для очерчивания вероятных причин и как объяснить то, что видно на изображениях.

Сравнение ИИ и врачей

Чтобы оценить, насколько хорошо работает мультимодальный AMIE, команда провела большое имитированное телемедицинское обследование, напоминающее практические экзамены в медицинских школах. Обученные актёры играли пациентов в 105 различных сценариях, требовавших как разговора, так и интерпретации визуального материала, такого как изображения кожи, кардиограммы или лабораторные отчёты. Каждый актёр участвовал в двух отдельных текстовых консультациях: одной с сертифицированным врачом первичной помощи и одной с ИИ‑системой, не зная, кто есть кто. Затем и люди‑врачи, и ИИ заполняли структурированные сводки своих диагнозов и планов. Независимые специалисты и актёры‑пациенты оценивали качество каждой консультации.

Как новая система показала себя

В этих сценариях диагнозы мультимодального AMIE чаще оказывались верными, чем у врачей первичной помощи — как если смотреть только на основной вариант, так и при рассмотрении расширенного списка возможных диагнозов. Специалисты также оценили рассуждения AMIE, использование изображений и работу с пациентскими вопросами об этих изображениях как не хуже или лучше, чем у врачей по большинству показателей. Примечательно, что при плохом качестве изображений и ИИ, и врачи работали хуже, но точность ИИ падала в меньшей степени. Актёры‑пациенты оценивали ИИ как минимум так же высоко, как врачей, по вежливости, ясности, эмпатии и готовности вернуться на повторный приём, и считали, что ИИ лучше объяснял и разбирал то, что было видно на загруженных изображениях.

Проверка внутренней работы

Авторы также изучили, почему система работает именно так. В компьютерных симуляциях они сравнивали полную версию AMIE с более простой версией, лишённой структурированного, учитывающего состояние, рассуждения. Полная система не только поставляла более точные диагнозы, но и эффективнее собирала информацию и выдавала более подходящие планы лечения. Когда они убрали диалог и попросили модель работать только по изображениям, производительность заметно ухудшилась — это показывает, что диалог и сбор анамнеза по‑прежнему важны, даже для ИИ, который «видит». Дополнительные тесты показали, что тонкая настройка базовой модели только на узких медицинских задачах может усилить одни навыки и ухудшить другие, поэтому авторы сосредоточились на тщательной разработке процесса рассуждения, наложенного сверху.

Что это может означать для будущей помощи

Исследование предполагает, что ИИ‑системы, способные сочетать разговор и зрение, однажды смогут помочь клиницистам безопаснее и эффективнее справляться со сложными удалёнными консультациями. Интерпретируя фотографии, кардиограммы и документы, предоставленные пациентом, в рамках продуманного диалога, мультимодальный AMIE в контролируемых условиях часто сравнивался с врачами первичной помощи или превосходил их по результатам, одновременно демонстрируя высокие показатели эмпатии и коммуникации. Авторы подчёркивают, что это пока исследовательская работа, а не клиническое исследование в реальном мире, и многое ещё нужно сделать для проверки безопасности, справедливости и влияния в повседневной практике. Тем не менее это указывает на будущее, в котором инструменты ИИ выступают надёжными партнёрами в телемедицине, помогая пациентам и врачам лучше использовать изображения и информацию, уже поступающую через наши экраны.

Цитирование: Saab, K., Park, C., Strother, T. et al. Advancing conversational diagnostic AI with multimodal reasoning. Nat Med 32, 1726–1736 (2026). https://doi.org/10.1038/s41591-026-04371-0

Ключевые слова: мультимодальный медицинский ИИ, телемедицина, диагностическая беседа, клиническая поддержка принятия решений, медицинские чат‑боты