Мультимодальный подход на основе графовой attention-сети для классификации заболеваний легких

Почему важны более умные проверки легких

Заболевания легких входят в число ведущих причин смерти в мире, при этом многие из них поддаются лечению при раннем обнаружении. Врачи обычно опираются на рентген грудной клетки и письменные заметки о симптомах пациента, чтобы определить проблему. Ручной разбор всей этой информации медленный и подвержен ошибкам, особенно когда разные болезни выглядят похоже на снимке или сопровождаются одинаковым кашлем и лихорадкой. В этом исследовании представлена система искусственного интеллекта, созданная для совместного анализа рентгеновских снимков и клинического текста, которая помогает клиницистам точнее и стабильнее выявлять различные заболевания легких.

Видеть и читать одновременно

Исследователи исходят из простой идеи: история в теле передается и изображениями, и словами. Рентген грудной клетки показывает формы, тени и плотности внутри грудной клетки, а клинические заметки фиксируют жалобы, такие как одышка или боли в груди. Вместо того чтобы рассматривать это как отдельные подсказки, новая система объединяет их. Она использует визуальную модель, обученную специально на медицинских изображениях, чтобы превратить каждый рентген в множество небольших цифровых фрагментов, фиксирующих визуальные паттерны. Параллельно языковая модель, настроенная на медицинские тексты, преобразует каждое слово в клиническом описании в собственное числовое представление. Вместе эти два потока чисел создают общую картину того, что происходит в легких пациента.

Построение сети связей

Простое объединение информации изображения и текста часто упускает тонкие связи, например небольшую помутненную область на рентгене, которая важна только при упоминании недавней инфекции в заметке. Чтобы справиться с этим, авторы представляют объединенные данные в виде графа — сети точек и связей. Каждая точка соответствует либо конкретному участку на рентгене, либо конкретному слову в клиническом тексте. Система затем оценивает, насколько тесно каждый участок изображения связан с каждым словом, и сохраняет только самые сильные отношения. В результате получается разреженная, но содержательная сеть, связывающая, например, яркое пятно у края легкого с упоминанием боли в груди или жидкости.

Дать диагнозу руководство внимания

После построения этой сети она обрабатывается моделью графового внимания. В такой конструкции каждая точка в графе «смотрит» на своих соседей и решает, сколько веса им дать, подобно врачу, который фокусируется на наиболее релевантном сочетании признаков снимка и симптомов. Несколько attention‑«голов» исследуют разные паттерны параллельно, улавливая разнообразные способы, которыми текст и изображение могут взаимно подкреплять друг друга. Модель затем объединяет наиболее информативные сигналы со всего графа и передает их в финальный слой принятия решения, который предсказывает, какое из восьми заболеваний легких — или нормальная находка — наиболее вероятно в данном случае.

Проверка системы в деле

Команда обучала и оценивала свой метод на большой публичной базе данных, содержащей около 80 000 рентгенов грудной клетки в паре с короткими клиническими описаниями, сгруппированными по восьми категориям заболеваний легких, а также нормальным состояниям. Они тщательно разделили и очистили данные, чтобы избежать утечки практически дублирующих случаев между обучением и тестированием. На невидимых тестовых изображениях и текстах их подход правильно классифицировал состояния легких примерно в 96 из 100 случаев, обгоняя нескольких сильных конкурентов, которые либо грубее объединяли данные, либо использовали более простые графовые методы. Он также выдавал очень надежные вероятностные оценки, то есть уровень уверенности модели хорошо соответствовал тому, как часто она была права. При тестировании на другом наборе данных из другой больницы с иными частотами заболеваний производительность упала — как и следовало ожидать — но система по‑прежнему хорошо различала болезни, что указывает на полезную устойчивость в реальных условиях.

Что это значит для пациентов и врачей

Проще говоря, это исследование показывает, что система ИИ может научиться «читать» и изображение, и запись вместе, подобно опытному радиологу, который рассматривает снимок с учетом истории пациента. Фокусируясь на наиболее значимых связях между участками изображения и конкретными симптомами, модель может сократить число пропущенных или ошибочных диагнозов и помечать сомнительные случаи для более тщательного рассмотрения. Хотя необходимы дополнительные испытания в реальных клиниках, особенно с более богатыми и разнообразными отчетами, работа указывает на инструменты поддержки принятия решений, которые могут сделать диагностику заболеваний легких быстрее, более последовательной и доступной в больницах, где не хватает экспертов.

Цитирование: Rahman, M., YongZhong, C. & Bin, L. Graph attention network-based multimodal approach for lung diseases classification. Sci Rep 16, 10914 (2026). https://doi.org/10.1038/s41598-026-44282-1

Ключевые слова: диагностика заболеваний легких, рентген грудной клетки, медицинский ИИ, мультимодальное обучение, графовые нейронные сети