Искусственный интеллект с возможностью зрения сокращает пропуски в клинических разговорах: данные из моделированных сборов истории приема лекарств

Более умные цифровые помощники в клинике

Любой, кто сидел в кабинете врача и наблюдал, как клиницист быстро печатает в компьютер, видел скрытую нагрузку современной медицины: бумажную работу. Новые «AI-скрайбы» обещают записывать визиты и автоматически составлять заметки, давая врачам больше времени на общение с пациентами. Но большинство таких инструментов только слышат сказанное; они не видят показанное. В этом исследовании задан простой вопрос с важными последствиями для безопасности: что если AI-скрайб также сможет видеть бутылочки с лекарствами на столе?

Почему вид имеет такое же значение, как и слышание

В реальных медицинских встречах критическая информация часто носит визуальный характер. Пациенты приносят коробки и флаконы с мелким шрифтом на этикетках, демонстрируют ингаляторы или инжекторы, либо показывают браслеты с отметками об аллергии на запястьях. Тонкие сигналы, такие как внешний вид и осанка, могут подсказывать, как человек справляется. Традиционные AI-скрайбы обрабатывают только аудио, поэтому любая деталь, которая никогда не произносится вслух — например, точная концентрация на пузырьке — может быть утрачена. Когда задача — составить точный список принимаемых человеком лекарств, пропуск дозировки или путаница между двумя похожими продуктами могут иметь серьёзные последствия.

Очки, видео и новый тип AI-скрайба

Чтобы устранить этот разрыв, исследователи создали AI-скрайба с возможностью зрения, который обрабатывает звук и изображение вместе. Они соединили умные очки Ray-Ban, записывающие видео и аудио с точки зрения клинициста, со современным AI-моделем, способным интерпретировать то, что видит и слышит. Десять клинических фармацевтов проиграли 110 реалистичных разговоров по сбору истории приема лекарств, в каждом участвовали от трёх до пяти препаратов и реальная упаковка. Команда использовала 10 записей для тонкой настройки инструкций — чётких указаний, что именно нужно извлечь AI — затем зафиксировала эти настройки и протестировала систему на оставшихся 100 записях.

Как показал себя AI-скрайб

Для каждого разговора фармацевты подготовили тщательный эталонный список, включавший имя пациента, дату рождения, аллергии, название каждого лекарства, его концентрацию и форму, схему приёма, показание к применению и дополнительные заметки. Задача AI заключалась в том, чтобы сгенерировать такую же структурированную сводку из видео. По 2 160 отдельным данным видящий скрайб оказался корректен в 98 процентах случаев. Он немного хуже справился с базовыми данными пациента (96 процентов) и немного лучше — с пунктами, связанными с лекарствами, такими как инструкции по дозированию и показания (по 99 процентов). Большинство из 46 ошибок были ошибками «комиссии» — неверная фиксация информации, например путаница похожих названий или концентраций. Только 10 ошибок оказались упущениями, когда AI оставлял поле пустым, хотя информация присутствовала.

Почему добавление зрения изменило правила игры

Команда затем проверила, насколько полезен был визуальный ввод, прогнав те же 100 разговоров через AI, используя только аудиодорожку. Точность резко упала до 81 процента. Наибольшее падение произошло при документировании концентрации и формы лекарств — с 97 процентов при наличии видео до всего 28 процентов при использовании только аудио — что ясно показывает значимость считывания этикеток. Количество упущений выросло с 10 при наличии видео до 358 при аудио лишь, что демонстрирует: многое из отсутствующей информации просто никогда не произносилось вслух. Для многих полей, особенно названий препаратов и деталей дозирования, способность AI «смотреть» на упаковку существенно сократила пробелы и недоразумения.

Что это может значить для будущей помощи

Хотя результаты впечатляют, авторы подчёркивают, что эта технология ещё не готова заменить человеческое суждение. Исследование проводилось на моделированных встречах в контролируемых условиях при чётких этикетках и хорошем освещении, и AI всё равно допустил 46 ошибок, которые клиницисту пришлось бы выявить. В реальных клиниках условия шумнее, беспорядочнее и более разнообразны. Существуют также важные вопросы приватности, согласия, стоимости и того, как запись влияет на то, что пациенты решают рассказать. Тем не менее работа указывает на будущее, в котором AI-скрайбы, умеющие и видеть, и слышать, могли бы уменьшить часть бумажной нагрузки в медицине, фиксировать более полную информацию о лекарствах и помогать клиницистам сосредоточиться на самом важном: на пациентах.

Цитирование: Menz, B.D., Scarfo, N.L., Modi, N.D. et al. Vision-Enabled AI scribes reduce omissions in clinical conversations: evidence from simulated medication histories. npj Digit. Med. 9, 287 (2026). https://doi.org/10.1038/s41746-026-02494-9

Ключевые слова: медицинские AI-скрайбы, мультимодальный ИИ, история приема лекарств, клиническая документация, умные очки