Фурье-птихография с нейронной инженерией зрачка: высокое разрешение по всему полю

Более чёткое изображение по всей поверхности препарата

Современные микроскопы способны показать поразительные клеточные детали — но обычно только в небольшой «зоне комфорта» около центра изображения. На краях большого тканевого среза тонкие структуры часто размываются и теряются, что ограничивает степень доверия врачей и исследователей к увиденному. В этой работе предложен новый подход, который приближает мощный метод — фурье-птихографическую микроскопию — к его теоретическим пределам, обеспечивая чёткие детали по всему большому полю зрения без необходимости перестраивать микроскоп с нуля.

Почему микроскопы хуже работают на краях

Фурье-птихографическая микроскопия (FPM) работает так: образец освещают под множеством углов, а затем компьютер объединяет полученные низкоразрешённые снимки в единое высокоразрешённое изображение. В принципе эта стратегия должна давать как высокую резкость, так и большое поле — идеально для микроскопии целого слайда, исследований живых клеток и промышленного контроля. На практике же FPM показывает лучшие результаты лишь около оптического центра. Дальше влияют несовершенства линз и кривизна фронта волны от светодиодной подсветки, что нарушает упрощающее допущение об однородном поведении системы по всему полю. В результате на краях появляются артефакты, теряется контраст и утрачиваются тонкие детали, хотя в центре изображение остаётся отличным.

Умный, меняющий форму апертурный фильтр

Суть проблемы — в том, как FPM обычно обращается с функцией зрачка микроскопа, оптическим «окном», определяющим, какие пространственные частоты света проходят. Стандартный FPM рассматривает это окно как фиксированный, центрированный круг в пространстве частот. Авторы заметили, что в реальных экспериментах, особенно в областях далеко от центра, эффективное окно смещается тонким образом. Вместо попыток вручную сконструировать более сложную физическую модель, они позволили нейронной сети научиться, как это окно должно двигаться. Их подход, названный нейронной инженерией зрачка для FPM (NePE-FPM), представляет зрачок как непрерывную функцию, кодируемую небольшой нейронной сетью и многомасштабной хеш-таблицей. Такая схема позволяет зрачку плавно смещаться в пространстве частот во время восстановления, чтобы алгоритм мог адаптироваться к поведение вне оси без введения дополнительных трудноизмеримых параметров системы.

Более чёткие клетки и резкие узоры

Для проверки метода исследователи снимали корневую ткань растений и стандартные тестовые мишени по разрешению. По сравнению с обычным FPM с фиксированным зрачком, NePE-FPM дал значительно более резкие границы клеток и более высокий контраст на краях поля зрения. Количественные тесты показали до примерно 55% улучшения контраста в некоторых областях, при этом отдельные окрашенные клетки стали чётко различимы там, где ранее были размыты. На общедоступной мишени разрешения, предназначенной для стресс-тестирования FPM, соперничающие алгоритмы испытывали трудности с восстановлением как амплитуды, так и фазы при значительной кривизне освещения. NePE-FPM, напротив, сохранял тонкие полосатые структуры и давал более точные фазовые карты — ключевое требование для количественной, немаркирующей визуализации.

Обучение одновременно образца и оптики

Авторы пошли дальше, позволив нейросетям представлять не только смещающийся зрачок, но и сам образец. В этой «двойной неявной» схеме одна сеть кодирует то, как образец модифицирует свет, а другая — как оптическое окно ведёт себя по частотам. Тщательно подобранные функции активации гарантируют, что амплитуды и фазы остаются физически реалистичными. Это непрерывное, координатно-зависящее описание действует как умный фильтр: оно естественно сглаживает шумы, сохраняя при этом реальные переходы, избегая «кадровых» артефактов, которые могут возникать при традиционных методах с жёсткой регуляризацией. Тесты на тканевых срезах показали более плавные, чище выглядящие фазовые изображения с повышенным контрастом, при этом количественные значения оставались согласованы с действительностью.

Ускорение для практического применения

Поскольку микроскопия всего слайда включает огромные наборы данных, скорость имеет значение. NePE-FPM спроектирован с учётом эффективности. Многомасштабное хеш-кодирование позволяет запрашивать нейронное представление за постоянное время, а авторы реализовали собственный код на CUDA для выполнения тяжёлых вычислений на графическом процессоре. Для типичных наборов данных с миллионами пикселей и десятками углов освещения время восстановления снизилось до десятков секунд — примерно в пятнадцать раз быстрее, чем сопоставимые реализации на CPU — при сохранении существенного прироста разрешения по всему полю.

Сближение теории и практики

Говоря доступным языком, эта работа учит «окно» микроскопа двигаться туда, где это необходимо, вместо того чтобы удерживать его зафиксированным в излишне упрощённой модели. Позволяя компактной нейронной сети непрерывно регулировать, как свет фильтруется в пространстве частот, NePE-FPM восстанавливает тонкие клеточные детали равномерно по большим областям, сокращая разрыв между тем, что FPM обещает в теории, и тем, что он даёт в лаборатории, и делает это на практично приемлемых скоростях. Для приложений вроде цифровой патологии или высокопроизводительного контроля это открывает путь к гигапиксельным изображениям, где края наконец столь же надёжны, как и центр.

Цитирование: Shuhe Zhang and Liangcai Cao, "Whole-field, high-resolution Fourier ptychography with neural pupil engineering," Optica 12, 1615-1624 (2025). https://doi.org/10.1364/OPTICA.575065

Ключевые слова: Фурье-птихографическая микроскопия, компьютерная визуализация, нейронная инженерия зрачка, количественная фазовая микроскопия, микроскопия всего препарата