ClinicRealm: переоценка крупных языковых моделей в сравнении с классическим машинным обучением для неггенеративных клинических задач прогнозирования

Почему точные прогнозы в больнице важны

Ежедневно больницы накапливают огромные объёмы цифровой информации о пациентах — от кратких заметок врачей до длинных списков лабораторных результатов и показателей жизненно важных функций. В этих данных скрыты подсказки о том, кто, вероятно, поправится, кто может вскоре вернуться в больницу и кто находится в серьёзной опасности. Выбор правильного типа искусственного интеллекта (ИИ) для чтения этих подсказок перестал быть чисто техническим вопросом — он влияет на то, как быстро и справедливо пациенты получат помощь. В этом исследовании поставлен своевременный вопрос: могут ли современные мощные чат‑ориентированные ИИ‑системы, известные как крупные языковые модели, соперничать с или превосходить тщательно настроенные алгоритмы, которые долгое время были рабочими лошадками медицинского прогнозирования?

Новые испытания для новых типов медицинского ИИ

Исследователи построили широкий бенчмарк под названием ClinicRealm, чтобы сравнить три семейства моделей в лоб: традиционные системы машинного и глубокого обучения, ранние текстоориентированные модели и современные крупные языковые модели. Они оценивали эти инструменты по двум основным типам больничных данных. Первый — неструктурированный текст, например примечания при поступлении и выписке, написанные в повседневном клиническом языке. Второй — структурированные таблицы электронных медицинских записей, состоящие из чисел, таких как значения лабораторных тестов и временные отметки жизненных показателей. Команда сосредоточилась на практических вопросах, важных для больниц, включая вероятность смерти пациента во время госпитализации, вероятность повторной госпитализации в течение 30 дней и ожидаемую продолжительность пребывания в больнице.

Когда слова обгоняют числа в прогнозе

Выявилась поразительная закономерность для задач, основанных на заметках врачей и медсестёр. Годы считалось, что специализированные текстовые модели, настроенные на медицинские записи, являются лучшим выбором для прогнозирования по таким заметкам. Тем не менее ClinicRealm показывает, что последние крупные языковые модели, использованные в режиме «zero-shot» без дополнительного обучения на больничных данных, теперь опережают эти специализированные системы с большим отрывом. Как в предсказательных задачах на будущее, так и в посмертной классификации документов продвинутые модели, такие как варианты GPT-5 и DeepSeek, достигали очень высокой точности. Это означает, что простая передача им необработанного клинического текста и запрос предсказания может работать лучше, чем месяцы кропотливой донастройки старых подходов. Примечательно, что несколько моделей с открытым исходным кодом сопоставились или даже превзошли производительные проприетарные решения, что делает мощные инструменты более доступными для больниц, которые вынуждены хранить данные внутри учреждения.

Числа по‑прежнему благоволят классическим инструментам — но не всегда

Ситуация более сложна для структурированных электронных медицинских записей. Здесь тщательно обученные традиционные модели и специализированные системы глубокого обучения всё ещё лидируют, когда у них есть доступ к большим объёмам данных. Они особенно хороши в обнаружении закономерностей в потоках лабораторных показателей и жизненных функций во времени. Однако когда доступно лишь небольшое число примеров пациентов — как часто бывает для редких заболеваний или при новых вспышках — современные языковые модели демонстрируют удивительную силу. В некоторых тестах крупная языковая модель, работающая с умно составленным prompt’ом и несколькими примерами, сравнялась или превзошла классические модели, обученные на тех же ограниченных данных. Попытки просто «влить» в языковые модели одновременно таблицы и текст не дали автоматического улучшения, показав, что объединение нескольких источников данных остаётся тонкой задачей проектирования, а не бесплатным приростом производительности.

Заглядывая в медицинское рассуждение ИИ

Поскольку слепое доверие к оценке риска небезопасно, команда также попросила пятерых клиницистов оценить объяснения, которые языковые модели выдавали вместе со своими прогнозами. В целом эксперты сочли эти повествования достаточно точными, полными и клинически полезными, особенно когда модели работали с богатыми нарративными заметками. Тем не менее выявились важные слабые места. В некоторых ложно положительных случаях модели обосновывали высокий риск выдумывая или неправильно читая детали в записи. В случаях пропущенного риска они часто распознавали релевантные находки, но не сумели правильно их взвесить, что отражает поверхностное суждение, а не простую ошибку извлечения данных. Даже когда прогнозы были верны, следы ошибочной логики сохранялись, подчёркивая, что сама по себе точность не гарантирует надёжную клиническую поддержку.

Справедливость, ограничения и что дальше

Исследователи также изучили справедливость по возрасту, полу и расе. Обнадеживает то, что современные языковые модели, аккуратно подготовленные в режиме zero‑shot, часто демонстрировали более сбалансированную производительность между группами, чем некоторые сильно обученные традиционные системы, которые могли усиливать существующие смещения данных. Однако настройка моделей под конкретные задачи иногда вновь вносила дисбаланс, и ни один метод не был идеально справедлив. Авторы подчёркивают, что любое внедрение должно включать регулярные проверки на смещение, надёжный дизайн prompt’ов и защитные механизмы для обеспечения надежности, а не опираться только на высокую точность на одном тестовом наборе.

Что это значит для будущей больничной помощи

ClinicRealm приходит к выводу, что современные крупные языковые модели уже не просто разговорные помощники; они выросли в серьёзных претендентов на задачу прогнозирования исходов пациентов, особенно по письменным заметкам и в условиях ограниченных данных. Классические системы машинного обучения по‑прежнему хороши, когда есть много структурированной информации и время на их обучение, но разрыв сокращается. Для больниц и разработчиков медицинских технологий это означает отход от универсального подхода в пользу более тонкого набора инструментов: использовать традиционные модели там, где они остаются лучшими, полагаться на крупные языковые модели для свободного текста и быстрого запуска, а также комбинировать оба подхода с тщательным вниманием к качеству рассуждений и справедливости. При продуманном применении такая сбалансированная стратегия может сделать прогностическую аналитику более мощной, более доступной и, в конечном счёте, более поддерживающей безопасную и персонализированную помощь.

Цитирование: Zhu, Y., Gao, J., Wang, Z. et al. ClinicRealm: Re-evaluating large language models with conventional machine learning for non-generative clinical prediction tasks. npj Digit. Med. 9, 319 (2026). https://doi.org/10.1038/s41746-026-02539-z

Ключевые слова: клиническое прогнозирование, электронные медицинские записи, крупные языковые модели, бенчмаркинг медицинского ИИ, справедливость в здравоохранении