Объединение модальностей с помощью ИИ: обзор достижений ИИ в мультимодальной биомедицинской визуализации

Видеть больше, чем кажется на первый взгляд

Современная медицина во многом опирается на изображения — от рентгеновских снимков и МРТ до микроскопических препаратов ткани — чтобы понять, что происходит внутри организма. В этом обзоре объясняется, как искусственный интеллект (ИИ) может объединять разные типы медицинских изображений в единую, более полную картину болезни. Для широкого читателя выгода очевидна: такие достижения могут означать более раннее обнаружение рака, более точные диагнозы и лечение, адаптированное под конкретного пациента, а не под усреднённые показатели.

Почему одной картинки уже недостаточно

Каждый метод визуализации показывает лишь часть истории. Инструменты радиологии, такие как КТ, МРТ и ультразвук, раскрывают форму и структуру органов, тогда как ядерные исследования, например ПЭТ, подчёркивают, насколько активна опухоль. Под микроскопом патолог видит, как устроены клетки, а спектроскопические методы считывают химические «отпечатки» тканей. Оптические методы, например оптическая когерентная томография, позволяют рассмотреть тонкие слои в глазу или коже. По отдельности эти «одновидовые» снимки могут упустить важные подсказки. В сочетании же они связывают внешний облик опухоли, её поведение и молекулы, которые её поддерживают, давая врачам более полное понимание болезни.

Как ИИ очищает и дополняет медицинские изображения

Прежде чем разные изображения можно будет объединять, их нужно очистить, выровнять и иногда даже сгенерировать заново. Авторы описывают, как ИИ помогает удалять шум и размытие от движения на снимках, восстанавливать детали из низкодозных КТ или ПЭТ и корректировать артефакты, которые в противном случае смутят и врачей, и компьютеры. Системы глубокого обучения на примерах усваивают, как должен выглядеть «чистый» снимок, и затем восстанавливают им подобные новые сканы. Другие модели ИИ генерируют реалистичные синтетические изображения, чтобы «нарастить» небольшие наборы данных или заполнить отсутствующие типы исследований. Это особенно ценно для редких заболеваний, где реальных примеров для обучения диагностических инструментов может быть очень мало.

Смешивая разные взгляды в единую историю

Суть обзора — в том, как ИИ фактически выполняет слияние нескольких источников визуализации. На самом базовом уровне методы на уровне пикселей накладывают друг на друга сканы, такие как МРТ и ПЭТ, чтобы структура и активность отображались в одном более чётком изображении. Более продвинутые подходы извлекают ключевые шаблоны или «признаки» из каждой модальности и комбинируют уже эти признаки, а не сырые изображения, что делает процесс более устойчивым к различиям в разрешении и выравнивании. Позднее или «на уровне решений» слияние идёт дальше: отдельные модели ИИ анализируют разные изображения, а затем голосуют или усредняют свои предсказания. Иерархические системы объединяют несколько таких идей, накладывая этапы слияния друг на друга, чтобы в одном фреймворке обрабатывать всё — от мельчайших клеточных деталей до изменений на уровне органа.

От лучших изображений — к лучшему уходу

Эти техники слияния уже испытывают в различных клинических сценариях. Объединение нескольких последовательностей МРТ улучшает сегментацию опухолей мозга, тогда как сочетание маммограмм, УЗИ и МРТ повышает выявляемость рака молочной железы и точность оценки риска. Связывание цифровых срезов патологии с радиологическими изображениями помогает прогнозировать генетику опухоли и выживаемость пациентов без дополнительных тестов. ИИ также поддерживает «данно‑ориентированную визуализацию», где тонкие паттерны на снимках коррелируются с активностью генов или исходами пациентов, обещая более точный прогноз и лучший выбор терапии. Новые фундаментальные модели и мультимодальные большие языковые модели стремятся обобщать задачи и типы изображений, а также связывать изображения с клиническими записками, двигаясь к универсальным инструментам, которые смогут адаптироваться к разным заболеваниям и больницам.

Доверие, справедливость и дороги вперёд

Несмотря на энтузиазм, авторы подчёркивают, что остаётся много серьёзных вызовов. Медицинские изображения сильно варьируются между больницами, аппаратами и группами пациентов, что может делать ИИ хрупким или предвзятым, если это не учитывать. Многие мощные модели ведут себя как «чёрные ящики», затрудняя для клиницистов понимание причин конкретного решения. Обзор рассматривает усилия по выявлению областей каждого изображения, которые сильнее всего влияют на предсказание, и по созданию более справедливых и прозрачных систем. Также отмечаются этические вопросы вокруг приватности, обмена данными и больших вычислительных затрат крупных моделей. Взгляд в будущее — это специализированные ИИ «агенты», которые постоянно мониторят визуализацию, данные с носимых датчиков и медицинские записи, помогают врачам в реальном времени и координируют долгосрочный уход. Для пациентов главное — комбинирование множества видов медицинских изображений с ИИ может привести к более быстрым ответам, более персонализированному лечению и, в конечном счёте, лучшим результатам — при условии, что эти технологии будут разрабатываться и внедряться ответственно.

Цитирование: Doan, L.M.T., Shahhosseini, K., Verma, S. et al. Bridging modalities with AI: a review of AI advances in multimodal biomedical imaging. Commun Eng 5, 30 (2026). https://doi.org/10.1038/s44172-026-00602-x

Ключевые слова: мультимодальная биомедицинская визуализация, медицинский ИИ, слияние изображений, радиология и патология, персонализированная медицина