Память-эффективное обучение сетей для регистрации 3D-изображений мозга с использованием PatchMorph

Понимание большого числа сканов мозга

Современные исследования мозга опираются на сравнение 3D-сканов множества людей и животных, но каждое изображение мозга немного отличается по размеру, форме и разрешению. Точное выравнивание таких данных без необходимости в огромных вычислительных ресурсах — серьёзная задача. В этой статье представлен PatchMorph — новый подход к сопоставлению крупных 3D-изображений мозга, который значительно сокращает использование памяти, сохраняя или даже улучшая точность, что открывает возможность изучать более крупные и насыщенные наборы данных.

Почему выравнивать мозги так сложно

Чтобы сравнить сканы, учёные сначала «регистрируют» одно 3D-изображение с другим, деформируя один объём так, чтобы совпадающие структуры накладывались. Классические инструменты делают это путём итеративной подгонки поля деформации до максимума показателя схожести между изображениями. Новые методы глубокого обучения, такие как VoxelMorph, учатся предсказывать такую деформацию за один проход, что делает регистрацию намного быстрее. Однако большинство таких сетей предполагает одинаковую сетку и разрешение входных изображений и часто вынуждены обрабатывать полные 3D-томы целиком. По мере увеличения размеров изображений и сложности моделей требуемая видеопамять быстро растёт, вынуждая исследователей уменьшать, кадрировать или сильно предварительно обрабатывать данные.

Рассматривая мозг по частям

PatchMorph решает это узкое место, никогда не загружая полные 3D-томы в сеть одновременно. Вместо этого метод работает с небольшими 3D «патчами», выбираемыми по общей референсной области, охватывающей фиксированное изображение. На грубом уровне метод накладывает относительно большие патчи на весь мозг, извлекает соответствующие патчи из перемещаемого изображения с помощью точных координатных преобразований и подаёт их в компактную регистровую сеть. Сеть предсказывает, как каждый патч должен сдвинуться и деформироваться, чтобы его локальное содержимое совпало. Эти многочисленные локальные предсказания затем собираются в глобальное поле деформации с плавной интерполяцией, чтобы деформация всего мозга оставалась непрерывной.

От крупных областей к тонким деталям

PatchMorph работает многомасштабно, от грубого к тонкому. На первом уровне патч покрывает большую область мозга с низким разрешением, захватывая общие несоответствия, такие как размер или положение в целом. На следующих уровнях новые патчи «приближают» подрегионы ранее выбранных патчей, но при этом в памяти всегда хранится одинаковое число вокселей на патч. Это означает, что более тонкие уровни повышают физическую детализацию без увеличения требований к памяти. Позиции патчей на более мелких уровнях выбираются стохастически внутри родительских патчей, так что метод не ограничивается центрами патчей, а постепенно учится выравнивать и периферические структуры. Через уровни оцениваемые деформации накапливаются в единое глобальное поле, уточняемое шаг за шагом, но всегда пространственно согласованное.

Работа с реальными данными мозга

Авторы протестировали PatchMorph на двух требовательных наборах данных: Т1-МРТ человека из проекта MindBoggle и высокоразрешённых изображениях мозга мармозетки, полученных серийной двухфотонной микроскопией. Эти изображения различаются размером массивов, ориентацией и иногда шагом вокселя — условия, которые нагружают обычные сети. PatchMorph сопоставлял или превосходил современные методы регистрации на базе глубокого обучения по показателям перекрытия размеченных областей мозга, при этом поддерживая очень низкие уровни топологических ошибок (нереалистичных «складываний» в поле деформации). Критично, что при обучении с трансформерными бэкбонами PatchMorph снизил требуемую память для изображений размером 256³ вокселей примерно с 40 ГБ до менее чем 10 ГБ, не жертвуя точностью.

Скорость, компромиссы и будущие применения

Поскольку PatchMorph должен извлекать и вновь собирать множество патчей, при выводе он несколько медленнее, чем одношаговые сети, обрабатывающие весь том целиком, хотя всё ещё значительно быстрее традиционных итеративных инструментов. Взамен он может напрямую обрабатывать крупные, высокоразрешённые и неоднородно отмасштабированные изображения в их нативном пространстве, и допускает использование различных архитектур бэкбона — от простых сверточных сетей до продвинутых трансформеров. Это упрощает применение мощных моделей глубокого обучения в реальных исследованиях мозговой визуализации, которые ранее не помещались в память. На практике PatchMorph показывает: мыслить патчами вместо целых томов позволяет выравнивать сложные 3D-данные мозга точно, эффективно и в масштабах, ранее недоступных.

Цитирование: Skibbe, H., Byra, M., Watakabe, A. et al. Memory efficient training for 3D brain image registration networks using PatchMorph. Sci Rep 16, 14386 (2026). https://doi.org/10.1038/s41598-026-44858-x

Ключевые слова: регистрация изображений мозга, глубокое обучение, медицинская визуализация, 3D МРТ, PatchMorph