Инновации в глобальных регуляторных рамках для генеративного ИИ в медицинских устройствах — неотложный приоритет

Почему это важно для вашего здоровья

Генеративный искусственный интеллект, включая продвинутые чат-боты, быстро внедряется в кабинеты врачей и больницы. Эти системы могут составлять клинические заметки, отвечать на вопросы о здоровье и даже предлагать варианты диагноза. В обзоре объясняется, почему действующие нормы для медицинских устройств не готовы к таким гибким и непредсказуемым технологиям и почему их обновление необходимо для обеспечения безопасной, справедливой и заслуживающей доверия помощи во всем мире.

Новые инструменты, выполняющие гораздо больше задач, чем одну

Ранее медицинское программное обеспечение было создано для одной четко определенной задачи, например обнаружения опухоли на снимке. Генеративный ИИ и большие языковые модели, напротив, могут выполнять множество различных задач — от суммирования медицинских записей до консультаций по вариантам лечения. Их обучают на больших коллекциях текстов, изображений и других данных из интернета, что делает их мощными, но также затрудняет полное понимание или контроль. Поскольку их ответы могут меняться при каждом использовании и содержать уверенные ошибки или «галлюцинации», они плохо вписываются в существующие категории медицинских устройств, разработанные для более предсказуемых инструментов.

Почему текущие правила безопасности не справляются

Регуляторы пытались поспевать за развитием с помощью подхода «полный жизненный цикл продукта», который отслеживает устройство от разработки до использования в реальном мире. Это помогает для многих видов ИИ, но в статье утверждается, что этого недостаточно для больших языковых моделей. Практически невозможно проверить все данные обучения на наличие ошибок или скрытой личной информации. Оценить эффективность таких систем тоже сложно, поскольку их длительные и открытые ответы трудно оценивать простыми тестами на точность. Исследования показывают, что некоторые модели хорошо справляются с экзаменационными вопросами, но испытывают трудности в беспорядочных реальных случаях и могут уступать клиницистам в ключевых задачах. Кроме того, не существует согласованного способа измерять или отслеживать предвзятость, что означает, что системы могут незаметно хуже работать для определенных групп пациентов.

Скрытые риски после вывода в эксплуатацию

После выпуска инструментов на базе больших языковых моделей отслеживать их безопасность становится еще сложнее. Многие модели создаются на общих базовых системах, затем дорабатываются или дообучаются разными компаниями, что затрудняет понимание того, какие именно данные и изменения лежат в их основе. Некоторые инструменты попадают к пациентам напрямую в виде приложений с советами по здоровью без формального одобрения. Проблемы могут оставаться незафиксированными, особенно когда ошибки скрыты в длинных клинических заметках, составленных ИИ-стенографом. Существующие пути одобрения, основанные на демонстрации «схожести» с более старыми продуктами, могут быть использованы неверно для инструментов, которые на деле существенно отличаются. Одновременно такие этические вопросы, как конфиденциальность, автономия, доверие и влияние на отношения врач—пациент, лишь частично учитываются в действующих правилах.

Построение более умного и справедливого надзора

Авторы выделяют новые идеи для более гибкого и эффективного регулирования. «Регуляторные песочницы» позволяют тестировать новые ИИ-инструменты под наблюдением в ограниченных условиях, чтобы регуляторы и разработчики могли учиться на опыте и быстро корректировать правила. Новые концепции, такие как «программное обеспечение как медицинская услуга», направлены на то, чтобы рассматривать сильно автоматизированных ИИ‑агентов скорее как непрерывные услуги здравоохранения, а не как фиксированные продукты. В статье также подчеркивается важность понимания всей цепочки поставок — от сбора данных и построения моделей до облачного хостинга и аппаратного обеспечения — чтобы системы здравоохранения оставались устойчивыми при сбоях или атаках на цифровые инструменты. Глобальные сети регуляторов, исследователей и систем здравоохранения начинают обмениваться контрольными списками, стандартами тестирования и лабораториями надзора для согласования усилий.

Сохранение равенства в основе

Главная обеспокоенность — то, как генеративный ИИ может сузить или расширить разрыв в состоянии здоровья между богатых и бедных регионами. Если модели обучаются преимущественно на данных из стран с высоким уровнем дохода, они могут плохо работать в условиях с ограниченными ресурсами или для недостаточно представленных сообществ. В статье призывают намеренно включать точки зрения и данные из стран с низким и средним уровнем дохода, а также поддерживать эти регионы в создании и безопасном развертывании собственных ИИ-инструментов. Стандарты отчетности и инструменты оценки, ориентированные на равенство в здравоохранении, могут выявлять скрытые предвзятости, а сотрудничество поможет переводить успешные ИИ‑инициативы из пилотных проектов в реальные клиники, не оставляя уязвимые группы позади.

Что это означает в перспективе

Проще говоря, авторы приходят к выводу, что генеративный ИИ в медицине развивается слишком быстро для существующих правил. Чтобы защищать пациентов и заслуживать доверие, странам нужно совместно разрабатывать новые адаптивные регуляторные рамки, которые успевают за меняющимися моделями и одновременно охраняют конфиденциальность, безопасность и справедливость. Авторы представляют себе независимые глобальные органы, устанавливающие общие стандарты — подобно тем, что существуют в области кибербезопасности — чтобы больницы и пациенты во всем мире могли пользоваться этими инструментами без излишнего риска.

Цитирование: Ong, J.C.L., Ning, Y., Liu, M. et al. Innovating global regulatory frameworks for generative AI in medical devices is an urgent priority. npj Digit. Med. 9, 364 (2026). https://doi.org/10.1038/s41746-026-02552-2

Ключевые слова: генеративный ИИ, медицинские устройства, регулирование здравоохранения, большие языковые модели, равенство в здравоохранении