Sztuczne dane napędzane głębokie uczenie dla bezetykietowego autonomicznego mikroskopu sił atomowych

Oglądanie maleńkiego świata bez ludzkiego oka

Nasza zdolność do projektowania nowych materiałów, badania urządzeń do czystej energii czy analizowania żywych komórek często zależy od obserwowania struktur tysięcy razy cieńszych niż włos ludzki. Mikroskopy sił atomowych (AFM) potrafią odwzorować te miniaturowe krajobrazy w 3D, ale nadal w dużym stopniu polegają na ekspertach, którzy decydują, gdzie patrzeć i jak interpretować obrazy. Artykuł przedstawia SimuScan — metodę nauczania komputerów obsługi AFM i rozpoznawania cech w skali nanometrowej poprzez trenowanie ich na realistycznych obrazach symulowanych zamiast żmudnie etykietowanych danych eksperymentalnych.

Dlaczego współczesne obrazowanie nanoskalowe utknęło w miejscu

AFM stały się kluczowymi narzędziami w nauce o materiałach, badaniach energetycznych i biologii, ponieważ mogą „czuć” powierzchnie z precyzją nanometrową. Jednak są wolne, obejmują niewielkie obszary na raz i wymagają wielu decyzji ze strony wykwalifikowanego użytkownika: gdzie skanować, jakich ustawień użyć i które drobne kształty są istotne. W przeciwieństwie do mikroskopów optycznych czy elektronowych, które potrafią szybko zrobić szerokie zdjęcia przeglądowe, AFM budują powierzchnię linia po linii. Ponadto nowoczesne metody sztucznej inteligencji potrzebują ogromnych, oznakowanych zbiorów obrazów, takich jak te dla zdjęć codziennych, których po prostu nie ma dla AFM. Każdy obraz AFM jest pod wpływem subtelnych właściwości instrumentu — szumu, zniekształceń i kształtu sondy — więc uniwersalne narzędzia widzenia komputerowego trenowane na zwykłych zdjęciach często zawodzą po zastosowaniu bezpośrednio do danych AFM.

Nauczanie mikroskopu za pomocą wymyślonych obrazów

Kluczowy pomysł autorów polega na generowaniu rozległych bibliotek syntetycznych obrazów AFM, które wyglądają i zachowują się jak prawdziwe, łącznie ze wszystkimi typowymi niedoskonałościami. Ramy SimuScan zaczynają się od zdefiniowania kształtów, które mogą pojawić się na próbce: proste bloki i pręty, delikatne struktury DNA czy całe komórki bakteryjne. Kształty te mogą pochodzić z opisu matematycznego, plików CAD lub nawet z 3D powierzchni wyekstrahowanych z kilku rzeczywistych obrazów AFM. SimuScan umieszcza następnie obiekty na symulowanych podłożach, które mogą zawierać stopnie, chropowatość, wzory periodyczne i losowe zanieczyszczenia, tworząc realistyczne, przedzniekształcone krajobrazy. Na koniec przepuszcza te powierzchnie przez szczegółowy model „do przodu” mikroskopu, który dodaje efekty skończonego zakończenia sondy, zakłóceń sprzężenia zwrotnego, korekcji linia po linii oraz szumu elektronicznego. Wynikiem jest obraz bardzo przypominający pomiar AFM, sparowany z dokładną „prawdą podstawową” zawierającą obrys każdego obiektu.

Od symulowanych pikseli do wiarygodnej sztucznej inteligencji

Ponieważ każdy obraz syntetyczny ma doskonałe etykiety dla każdej cechy i piksela, SimuScan może zasilić współczesne modele głębokiego uczenia rodzajem bogatego materiału treningowego, którego zazwyczaj brakuje w obrazowaniu nanoskalowym. Zespół testował kilka popularnych architektur — YOLOv8 do szybkiego wykrywania obiektów, U-Net do szczegółowego odwzorowania obrysów oraz Mask R-CNN do masek na poziomie instancji — używając ponad 5000 obrazów syntetycznych na zadanie. Co zaskakujące, modele trenowane wyłącznie na tych sztucznych zbiorach wykazywały dobre wyniki przy ocenie na rzeczywistych obrazach AFM z nanostrukturami i bakteriami, które zostały pieczołowicie opatrzone adnotacjami przez ekspertów. Wyniki detekcji i dokładność segmentacji były wysokie dla różnych kształtów i typów komórek, co pokazuje, że obrazy symulowane uchwyciły istotny wygląd tych maleńkich struktur i typowe artefakty obrazowania.

Pozwolenie mikroskopowi decydować, gdzie patrzeć

Następnie badacze zamknęli pętlę między symulacją, AI i fizycznym instrumentem. W ich półautonomicznym przepływie pracy AFM najpierw wykonuje skan przeglądowy o niskiej rozdzielczości na relatywnie dużym obszarze. Model trenowany na danych SimuScan analizuje ten obraz w czasie rzeczywistym, lokalizuje interesujące struktury — takie jak określone kształty bakteryjne czy konkretne wzory nanofabrykacji — i wybiera obiecujące regiony do powiększonych, wysokorozdzielczych skanów. Mikroskop automatycznie przemieszcza się, ponownie skanuje i powtarza cykl na całej próbce, kierowany prostymi regułami zdefiniowanymi przez użytkownika, takimi jak pożądana liczba obiektów czy całkowity obszar do pokrycia. Dzięki temu system mógł autonomicznie znaleźć i zobrazować setki pojedynczych bakterii, a następnie zmierzyć zmienność ich rozmiarów i kształtów w populacji — zadanie, które byłoby niezwykle czasochłonne przy ręcznej obsłudze.

Nowa droga do mądrzejszych mikroskopów

Dla laika główny wniosek jest taki, że SimuScan pokazuje, jak „wyobrażone, ale realistyczne” dane mogą pomóc mikroskopom stać się bardziej podobnymi do instrumentów autonomicznych. Poprzez symulację zarówno maleńkich obiektów na powierzchni, jak i osobliwości tego, jak AFM je widzi, autorzy usuwają potrzebę dużych, ręcznie oznakowanych zbiorów treningowych i pozwalają modelom ogólnego przeznaczenia dobrze działać na prawdziwych eksperymentach. To otwiera badania AFM pozwalające eksplorować większe obszary, analizować znacznie więcej obiektów i adaptować zachowanie w locie, czyniąc charakteryzację nanoskalową szybszą, bardziej powtarzalną i dostępną dla osób niebędących ekspertami. W dłuższej perspektywie podobne strategie oparte na danych syntetycznych mogą umożliwić autonomiczną, napędzaną odkrywaniem pracę wielu innych typów instrumentów naukowych.

Cytowanie: Millan-Solsona, R., Checa, M., Brown, S.R. et al. Synthetic data-driven deep learning for label-free autonomous atomic force microscopy. Nat Commun 17, 3886 (2026). https://doi.org/10.1038/s41467-026-70421-3

Słowa kluczowe: mikroskopia sił atomowych, dane syntetyczne, głębokie uczenie, autonomiczna mikroskopia, obrazowanie nanostruktur