К автоматизированной отчетности: набор данных бронхоскопии для улучшения мультимодальных больших языковых моделей

Умная помощь пульмонологам

Когда врачи исследуют дыхательные пути с помощью миниатюрной камеры, они получают много информации о лёгких пациента, но перевод увиденного в ясные и подробные отчёты требует времени и опыта. В этом исследовании представлен новый, тщательно составленный набор реальных изображений бронхоскопии и отчётов, предназначенный для обучения продвинутых систем ИИ помощи в составлении таких текстов. Для пациентов это в будущем может означать более быстрые и согласованные отчёты и меньше шансов упустить важные детали.

Почему осмотр лёгких важен

Бронхоскопия — это процедура, при которой тонкая трубка с камерой вводится в дыхательные пути для осмотра трахеи и ветвящихся бронхов. Она помогает врачам выявлять такие проблемы, как воспаление, инфекция, опухоли или кровотечение, а также может направлять лечение — например удаление инородных тел или установку небольших стентов для поддержания проходимости дыхательных путей. После процедуры врач должен подробно описать увиденное в официальном отчёте, который становится частью медицинской карты пациента и влияет на решения о лечении. Написание таких отчётов — кропотливая, повторяющаяся работа, во многом зависящая от подготовки и памяти врача.

Почему существующих данных было недостаточно

В последние годы мощные модели ИИ, способные работать с изображениями и текстом, продвинулись в чтении медицинских снимков и составлении отчётов. Однако для бронхоскопии доступные данные для обучения таких систем были узкими и неполными. Ранние наборы данных часто охватывали лишь несколько задач — например обнаружение опухоли или определение позиции камеры — при этом игнорируя многие повседневные находки, такие как слизь, незначительные кровотечения или отёк, которые врачи рутинно описывают. Некоторые коллекции также были частными, небольшими или ориентированы только на простые решения «да/нет», что делает их плохими примерами для ИИ, которому нужно научиться составлять насыщенные, человекоподобные описания увиденного.

Создание более богатой библиотеки изображений

Чтобы устранить этот разрыв, авторы создали BERD — новый набор данных отчётов по бронхоскопии, сформированный на основе реальных процедур в крупной больнице Китая. Из 8 477 бронхоскопий, проведённых в 2022–2023 годах, они отобрали 3 692 репрезентативных случая пациентов и 6 330 ключевых изображений, которые врачи отметили как особенно информативные. Для каждого изображения подготовленные клиницистами связывали его с точными письменными описаниями увиденного, такими как опухоли, отёк, отложения или нормальная ткань. Когда изображение не показывало патологии, использовали простую стандартную фразу вроде «Норма» для поддержания согласованности данных. Личные данные были удалены, а исходные китайские отчёты переведены на английский с помощью локально запущенной языковой модели для защиты конфиденциальности.

Как эксперты и ИИ работали вместе

Помимо простых описаний, команда также стремилась пометить каждое изображение одной или несколькими медицинскими категориями — например «опухоль», «насыщение/скопление» или «отёк» — чтобы модели ИИ могли научиться и маркировать, и описывать находки. Для этого эффективно сначала старшие специалисты по бронхоскопии определили подробный список категорий на основе медицинских руководств. Затем локально развёрнутая языковая модель просканировала текстовые подписи и предложила, какие категории применимы к каждому изображению. Человеческие эксперты тщательно проверяли и исправляли эти предложения, сохраняя окончательный контроль над медицинским качеством. Результатом стал тонко аннотированный ресурс, где каждое изображение связано с ясным описанием, анатомическим местоположением и подтверждёнными экспертами метками, всё организовано в простых файлах, которые исследователи могут использовать напрямую.

Обучение ИИ составлять лучшие отчёты

Чтобы показать практическую ценность BERD, исследователи использовали его для обучения нескольких ведущих мультимодальных моделей ИИ. Сначала они протестировали универсальные и медицинские модели ИИ, которые ранее не видели изображений бронхоскопии. Эти модели часто неправильно понимали увиденное, пропускали опухоли или придумывали детали, и по сравнению с текстами экспертов показывали низкие результаты. Затем команда дообучила открытые модели на изображениях и подписях из BERD. После этой дополнительной тренировки лучшая модель стала генерировать описания, гораздо более точно совпадающие с формулировками экспертов, и клиницисты оценили их как приемлемые более чем в 80% случаев — то есть автоматически сгенерированный текст часто можно было вставлять в реальный отчёт с минимальной правкой.

Что это значит для будущей помощи

Проще говоря, эта работа обеспечивает недостающую «тренировочную библиотеку», необходимую ИИ-системам, чтобы стать надёжными помощниками при составлении отчётов по бронхоскопии. Хотя данные собраны в одной больнице и некоторые числовые детали были преднамеренно удалены, чтобы не вводить модели в заблуждение, набор данных является общедоступным, хорошо задокументированным и достаточно большим, чтобы задать новый стандарт в этой области. По мере того как исследователи будут развивать BERD, пациенты в конечном итоге могут получить выгоду в виде более быстрых и однородных отчётов по бронхоскопии, что даст врачам больше времени для принятия решений и лечения, а не для бумажной работы.

Цитирование: Luo, X., Huang, X., Liang, X. et al. Towards Automated Reporting: A Bronchoscopy Report Dataset for Enhancing Multimodality Large Language Models. Sci Data 13, 339 (2026). https://doi.org/10.1038/s41597-026-06692-8

Ключевые слова: бронхоскопия, медицинская визуализация, клинические отчёты, мультимодальный ИИ, медицинские наборы данных