Całopolowe, wysokorozdzielcze Fourierowskie ptychografy z neuronową inżynierią apertury

Bardziej ostre obrazy na całej szkiełce

Nowoczesne mikroskopy potrafią ujawnić zadziwiające detale komórkowe — zazwyczaj jednak tylko w niewielkim obszarze blisko środka obrazu. Na brzegach dużego preparatu tkankowego drobne struktury często zamazują się i zanikają, co ogranicza zaufanie lekarzy i naukowców do obserwowanych wyników. W artykule tym opisano nową metodę przybliżającą potężną technikę obrazowania, Fourierowską mikroskopię ptychograficzną, do jej teoretycznych granic, dostarczając wyraźne detale na całym dużym polu widzenia bez konieczności przebudowy mikroskopu od podstaw.

Dlaczego mikroskopy mają problemy na krawędziach

Fourierowska mikroskopia ptychograficzna (FPM) działa przez oświetlanie próbki z wielu kątów, a następnie łączenie powstałych niskorozdzielczych ujęć za pomocą komputera w jedno, wysokorozdzielcze obrazy. W teorii ta strategia powinna zapewniać obrazy jednocześnie bardzo ostre i szerokie — idealne do badania całych szkiełek patologicznych, żywych komórek i kontroli przemysłowej. W praktyce jednak FPM sprawdza się najlepiej tylko w pobliżu środka optycznego. Daleko od centrum niedoskonałości soczewek i zakrzywione fronty fal od oświetlenia LED łamią uproszczenie zakładające, że system obrazowania zachowuje się jednakowo wszędzie. W efekcie na obrzeżach pola pojawiają się artefakty, utrata kontrastu i brak drobnych szczegółów, mimo że centrum wygląda doskonale.

Inteligentna, zmieniająca kształt przesłona

Rdzeń problemu leży w sposobie, w jaki FPM zwykle traktuje funkcję apertury mikroskopu — optyczne „okno”, które definiuje, jakie składowe przestrzenne światła przechodzą. Standardowe FPM traktuje to okno jako stałe, centrowane koło w przestrzeni związanej z częstotliwościami przestrzennymi. Autorzy zaobserwowali, że w rzeczywistych eksperymentach, zwłaszcza poza centrum, efektywne okno jest subtelnie przesunięte. Zamiast ręcznie konstruować bardziej skomplikowany model fizyczny, pozwolili sieci neuronowej nauczyć się, jak to okno powinno się przesuwać. Ich podejście, nazwane neural pupil engineering FPM (NePE-FPM), reprezentuje aperturę jako funkcję ciągłą zakodowaną przez niewielką sieć neuronową i wieloresolucyjną tablicę hash. Takie rozwiązanie pozwala aperturze płynnie przesuwać się w przestrzeni częstotliwości podczas rekonstrukcji, dzięki czemu algorytm może dopasować się do zachowań pozaosiowych bez dodawania trudnych do zmierzenia parametrów systemu.

Bardziej wyraźne komórki i ostrzejsze wzory

Aby przetestować swoją metodę, badacze obrazowali tkankę korzeni roślinnych oraz standardowe cele rozdzielczości. W porównaniu z konwencjonalnym FPM używającym stałej apertury, NePE-FPM dało znacznie ostrzejsze kontury komórek i wyższy kontrast obrazu na krawędziach pola widzenia. Testy ilościowe wykazały w niektórych obszarach do około 55% poprawy kontrastu, przy czym pojedyncze zabarwione komórki stały się wyraźnie odróżnialne tam, gdzie wcześniej były rozmyte. Na publicznie dostępnym celu rozdzielczości zaprojektowanym do obciążania FPM konkurencyjne algorytmy miały trudności z dokładnym odtworzeniem zarówno amplitudy, jak i fazy, gdy istotna była krzywizna iluminacji. NePE-FPM natomiast zachowywało drobne wzory prążków i dawało dokładniejsze mapy fazowe, co jest kluczowe dla ilościowego obrazowania bez znaczników.

Nauka próbki i optyki jednocześnie

Autorzy poszli dalej, pozwalając sieciom neuronowym reprezentować nie tylko przesuwającą się aperturę, ale także samą próbkę. W tym „podwójnie niejawym” schemacie jedna sieć koduje, jak próbka modyfikuje światło, podczas gdy druga opisuje zachowanie okna optycznego w różnych częstotliwościach. Starannie dobrane funkcje aktywacji zapewniają, że amplitudy i fazy pozostają fizycznie realistyczne. Ten ciągły, oparty na współrzędnych opis działa jak inteligentny filtr: naturalnie wygładza szum, jednocześnie zachowując prawdziwe przejścia, unikając blokowych artefaktów, które mogą pojawiać się, gdy tradycyjne metody silnie polegają na określonych rodzajach regularizacji. Testy na przekrojach tkankowych pokazały gładsze, czystsze obrazy fazowe z lepszym kontrastem, przy jednoczesnym zachowaniu zgodności z wartościami ilościowymi.

Przyspieszanie do zastosowań praktycznych

Ponieważ obrazowanie całych preparatów obejmuje ogromne zbiory danych, szybkość ma znaczenie. NePE-FPM zaprojektowano z myślą o wydajności. Wieloresolucyjne kodowanie hash pozwala na stały czas zapytań do reprezentacji neuronowej, a autorzy zaimplementowali niestandardowy kod CUDA, by przenieść ciężkie obliczenia na procesor graficzny. Dla typowych zestawów danych z milionami pikseli i kilkudziesięcioma kątami oświetlenia czasy rekonstrukcji spadły do kilkudziesięciu sekund — około piętnastokrotnie szybciej niż porównywalne implementacje oparte na CPU — przy jednoczesnym uzyskaniu dużych przyrostów rozdzielczości na całym polu.

Przybliżanie teorii do praktyki

Mówiąc prostym językiem, ta praca uczy „okno” mikroskopu, aby poruszało się tam, gdzie jest to potrzebne, zamiast wymuszać pozostanie stałym w nadmiernie uproszczonym modelu. Pozwalając zwartej sieci neuronowej ciągłe dostosowywać sposób filtrowania światła w przestrzeni częstotliwości, NePE-FPM odzyskuje drobne detale komórkowe równomiernie na dużych obszarach, zmniejsza przepaść między tym, co FPM obiecuje na papierze, a tym, co dostarcza w laboratorium, i robi to z prędkościami praktycznymi. Dla zastosowań takich jak patologia cyfrowa czy inspekcja wysokoprzepustowa oferuje drogę do gigapikselowych obrazów, w których krawędzie wreszcie są tak samo wiarygodne jak centrum.

Cytowanie: Shuhe Zhang and Liangcai Cao, "Whole-field, high-resolution Fourier ptychography with neural pupil engineering," Optica 12, 1615-1624 (2025). https://doi.org/10.1364/OPTICA.575065

Słowa kluczowe: mikroskopia Fourierowska ptychograficzna, obrazowanie komputerowe, neuronowa inżynieria apertury, ilościowe obrazowanie fazowe, mikroskopia całych preparatów