Глубокое обучение на синтетических данных для автономной атомно-силовой микроскопии без меток

Увидеть крошечный мир без человеческого глаза

Наша способность создавать новые материалы, исследовать устройства для чистой энергии или изучать живые клетки часто зависит от наблюдения структур, в тысячу раз мельче человеческого волоса. Атомно-силовые микроскопы (АСМ) позволяют получать трёхмерные карты этих крошечных ландшафтов, но по‑прежнему сильно зависят от опытных операторов, которые решают, куда сканировать и как интерпретировать изображения. В этой статье представлен SimuScan — метод обучения компьютеров управлять АСМ и распознавать наноскопические объекты, тренируя их на реалистичных синтетических изображениях вместо трудоёмко размеченных экспериментальных данных.

Почему современные нанометные съёмки застревают

АСМ стали ключевым инструментом в материаловедении, исследованиях энергии и биологии, потому что они «ощупывают» поверхности с нанометровой точностью. При этом они медленные, охватывают небольшие участки и требуют множества решений от квалифицированного пользователя: где сканировать, какие настройки использовать и какие мелкие формы важны. В отличие от оптических или электронных микроскопов, которые могут снимать большие обзорные кадры, АСМ строят поверхность строчка за строчкой. Более того, современные методы искусственного интеллекта хороши именно тогда, когда у них есть огромные размеченные наборы изображений, как для обычных фотографий, но таких коллекций для АСМ попросту нет. Каждое АСМ‑изображение зависит от тонких артефактов прибора — шума, искажений и формы зонда — поэтому универсальные инструменты компьютерного зрения, натренированные на обычных снимках, часто дают сбой при прямом применении.

Обучение микроскопа на вымышленных изображениях

Ключевая идея авторов — сгенерировать большие библиотеки синтетических изображений АСМ, которые выглядят и ведут себя как реальные, включая все типичные дефекты. Фреймворк SimuScan начинается с задания форм, которые могут встречаться на образце: простые блоки и стержни, деликатные структуры ДНК или целые бактериальные клетки. Эти формы могут задаваться математически, браться из файлов САПР или извлекаться как 3D‑поверхности из нескольких реальных АСМ‑снимков. Затем SimuScan размещает объекты на смоделированных подложках с уступами, шершавостью, периодическими структурами и случайным мусором, создавая реалистичные предискажённые ландшафты. Наконец, эти поверхности прогоняются через детальную прямую модель микроскопа, которая добавляет эффекты конечной остроты зонда, сбои в обратной связи, построчные коррекции и электронный шум. В результате получается изображение, очень близкое к тому, что измерил бы АСМ, сопряжённое с точной «эталонной» картой контура каждого объекта.

От симулированных пикселей к надёжному ИИ

Поскольку каждое синтетическое изображение сопровождается идеальными метками для каждой детали и пикселя, SimuScan может снабжать современные модели глубокого обучения тем объемом богатого обучающего материала, которого обычно не хватает в наноскопической съёмке. Команда протестировала несколько популярных архитектур — YOLOv8 для быстрого обнаружения объектов, U‑Net для детальной векторизации контуров и Mask R‑CNN для масок на уровне экземпляров — используя более 5000 синтетических изображений на задачу. Примечательно, что модели, обученные исключительно на этих искусственных данных, показали высокую эффективность при оценке на реальных АСМ‑снимках изготовленных наноструктур и бактерий, которые были дотошно размечены экспертами. Показатели детекции и точность сегментации были высокими для разных форм и типов клеток, что говорит о том, что симулированные изображения захватили ключевой внешний вид этих крошечных объектов и обычные артефакты съёмки.

Позволить микроскопу решать, куда смотреть

Затем исследователи замкнули цикл между симуляцией, ИИ и физическим прибором. В их полуавтономном рабочем процессе АСМ сначала делает обзорное сканирование с низким разрешением по относительно большой области. Модель, обученная на данных SimuScan, анализирует это изображение в реальном времени, находит интересные структуры — например, определённые формы бактерий или специфические нанофабрикованные узоры — и выбирает перспективные области для приближённых съёмок с высоким разрешением. Микроскоп автоматически перемещается, переснимает и повторяет этот цикл по всему образцу, руководствуясь простыми правилами, заданными пользователем, такими как желаемое число объектов или общая площадь охвата. С таким подходом система могла автономно находить и изображать сотни отдельных бактерий, затем измерять вариации их размера и формы в популяции — задачу, которая вручную заняла бы неприемлемо много времени.

Новый путь к умным микроскопам

Для неспециалиста главный вывод в том, что SimuScan демонстрирует, как «вымышленные, но реалистичные» данные могут помочь превратить микроскопы в приборы, работающие по принципу «автопилота». Симулируя как крошечные объекты на поверхности, так и особенности того, как АСМ их видит, авторы устраняют необходимость в больших вручную размеченных наборах для обучения и позволяют универсальным моделям ИИ эффективно работать на реальных экспериментах. Это открывает возможности для изучения больших площадей, анализа гораздо большего числа объектов и адаптации поведения в реальном времени, делая наноскопическую характеристику быстрее, более воспроизводимой и доступной для неспециалистов. В перспективе аналогичные стратегии на основе синтетических данных могут привести к автономной, ориентированной на открытие работе и для многих других типов научных приборов.

Цитирование: Millan-Solsona, R., Checa, M., Brown, S.R. et al. Synthetic data-driven deep learning for label-free autonomous atomic force microscopy. Nat Commun 17, 3886 (2026). https://doi.org/10.1038/s41467-026-70421-3

Ключевые слова: атомно-силовая микроскопия, синтетические данные, глубокое обучение, автономная микроскопия, изображение наноструктур