Datasyntetisk djupinlärning för etikettfri autonom atomkraftmikroskopi

Se den mikroskopiska världen utan mänskliga ögon

Vår förmåga att konstruera nya material, studera ren energiteknik eller undersöka levande celler beror ofta på att kunna se strukturer som är tusen gånger tunnare än ett människohår. Atomkraftmikroskop (AFM) kan avbilda dessa mikrolandskap i 3D, men i dag är de fortfarande starkt beroende av expertoperatörer som måste välja var man ska titta och hur bilderna ska tolkas. Denna artikel presenterar SimuScan, en metod för att lära datorer att köra AFM och känna igen nanoskaliga strukturer genom att träna dem på verklighetstrogna simulerade bilder istället för tidskrävande märkta experimentdata.

Varför dagens nanoskaliga avbildning fastnar

AFM har blivit centrala verktyg inom materialvetenskap, energiforskning och biologi eftersom de kan känna av ytor med nanometerprecision. Ändå är de långsamma, täcker bara små områden åt gången och kräver många beslut av en skicklig användare: var man ska skanna, vilka inställningar som ska användas och vilka små former som är viktiga. Till skillnad från optiska eller elektronmikroskop som kan fånga stora översiktsbilder bygger AFM upp ytor rad för rad. Dessutom frodas moderna AI-metoder på enorma märkta bildsamlingar som de för vardagsfotografier, men sådana dataset finns helt enkelt inte för AFM. Varje AFM-bild påverkas av subtila instrumentegenskaper — brus, förvrängningar och probeform — så generella datorvisionsverktyg tränade på vanliga bilder fungerar ofta dåligt direkt på AFM-data.

Lära ett mikroskop med påhittade bilder

Författarnas centrala idé är att generera stora bibliotek av syntetiska AFM-bilder som ser ut och beter sig som verkligheten, komplett med alla vanliga imperfektioner. Deras SimuScan-ramverk börjar med att definiera de former som kan dyka upp på ett prov: enkla block och stavar, känsliga DNA-assembléer eller hela bakterieceller. Dessa former kan hämtas från matematiska beskrivningar, CAD-filer eller till och med 3D-ytskikt extraherade från ett fåtal riktiga AFM-bilder. SimuScan placerar sedan objekten på simulerade substrat som kan innehålla trappsteg, ojämnheter, periodiska mönster och slumpmässigt skräp och skapar därigenom realistiska, förvrängningsförberedda landskap. Slutligen passerar det dessa ytor genom en detaljerad framåtriktad modell av mikroskopet som lägger till effekter av en ändlig probspets, styrproblem, rad-för-rad-korrigeringar och elektroniskt brus. Resultatet är en bild som noggrant imiterar vad ett AFM skulle mäta, ihopkopplad med en exakt "grundsannings"-karta över varje objekts kontur.

Från simulerade pixlar till pålitlig AI

Eftersom varje syntetisk bild levereras med perfekta etiketter för varje funktion och pixel kan SimuScan mata moderna djupinlärningsmodeller med den typ av rikt träningsmaterial som normalt saknas inom nanoskalig avbildning. Teamet testade flera populära arkitekturer — YOLOv8 för snabb objektdetektion, U-Net för detaljerade konturer och Mask R-CNN för instansnivåmasker — med mer än 5 000 syntetiska bilder per uppgift. Anmärkningsvärt nog presterade modeller som enbart tränats på dessa konstgjorda dataset starkt när de utvärderades på riktiga AFM-bilder av framställda nanostrukturer och bakterier som noggrant annoterats av experter. Detektionspoäng och segmenteringsnoggrannhet var höga över olika former och celltyper, vilket visar att de simulerade bilderna fångat dessa små strukturers väsentliga utseende och deras vanliga avbildningsartefakter.

Låta mikroskopet avgöra var det ska titta

Forskarna stängde därefter loopen mellan simulering, AI och det fysiska instrumentet. I deras semi-autonoma arbetsflöde tar AFM först en lågupplöst översiktsscan över ett relativt stort område. En modell tränad på SimuScan-data analyserar denna bild i realtid, hittar intressanta strukturer — såsom vissa bakterieformer eller specifika nanofabricerade mönster — och väljer lovande regioner för förstorade, högupplösta skanningar. Mikroskopet flyttar automatiskt, skannar om och upprepar denna cykel över provet, styrt av enkla användardefinierade regler som önskat antal objekt eller total täckt yta. Med detta tillvägagångssätt kunde systemet autonomt hitta och avbilda hundratals enskilda bakterier och därefter mäta variationer i deras storlek och form i en population — något som vore oproportionerligt tidskrävande att göra för hand.

En ny väg till smartare mikroskop

För en icke-specialist är huvudpoängen att SimuScan visar hur "påhittade men realistiska" data kan hjälpa mikroskop att bli mer som självkörande instrument. Genom att simulera både de små objekten på en yta och de felaktigheter med vilka AFM ser dem slipper författarna behovet av stora, manuellt märkta träningsset och möjliggör att allmänna AI-modeller fungerar väl på verkliga experiment. Detta öppnar för AFM-studier som kan utforska större områden, analysera många fler objekt och anpassa sitt beteende i realtid, vilket gör nanoskalig karaktärisering snabbare, mer reproducerbar och tillgänglig för icke-experter. På längre sikt kan liknande strategier med syntetiska data bidra till att göra autonoma, upptäcktsdrivna operationer möjliga för många andra typer av vetenskapliga instrument.

Citering: Millan-Solsona, R., Checa, M., Brown, S.R. et al. Synthetic data-driven deep learning for label-free autonomous atomic force microscopy. Nat Commun 17, 3886 (2026). https://doi.org/10.1038/s41467-026-70421-3

Nyckelord: atomkraftmikroskopi, syntetiska data, djupinlärning, autonom mikroskopi, avbildning av nanostrukturer