Подход суперразрешения, адаптированный для изображений трансмиссионной электронной микроскопии пластин

Более четкие взгляды внутрь компьютерных чипов

Современная электроника зависит от крошечных структур, вытравленных глубоко в полупроводниковых пластинах, но получение четких изображений этих элементов занимает много времени, дорого и технически сложно. В этом исследовании показано, как продвинутые методы обработки изображений могут превратить размытые, зашумленные микроскопические снимки пластин в четкие изображения с высоким разрешением, без необходимости повторной съемки на дорогостоящем оборудовании. В результате получено практическое решение, которое может ускорить обнаружение дефектов и измерения на фабриках по выпуску чипов, одновременно сокращая время, которое эксперты проводят за специализированными микроскопами.

Почему важно видеть под поверхностью

Производители чипов уже используют несколько типов изображений, чтобы контролировать производство. Снимки поверхности, такие как карты пластин и изображения в просвечивающем электронном микроскопе, могут выявлять многие виды дефектов, но они не показывают, что происходит внутри материала. Трансмиссионная электронная микроскопия (TEM) заглядывает глубже, пропуская электроны через тонкие срезы пластины, чтобы выявить структуру на атомном уровне, скрытые дефекты и состав материала. Эти изображения TEM с высоким разрешением чрезвычайно ценны, но их трудно получить в больших количествах, поскольку подготовка и съемка каждого образца разрушают пластину и требуют участия специалистов и длительных сеансов съемки.

Проблемы с размытыми и зашумленными изображениями

В принципе, умная компьютерная программа могла бы преобразовать изображения TEM пластины с низким разрешением в изображения с высоким разрешением — задача, известная как суперразрешение. На практике же изображения TEM пластин создают особые трудности. Во‑первых, шаблоны шума необычны: они вызваны рассеянными электронами и нестабильными магнитными полями, а не обычным шумом камеры, поэтому стандартные методы очистки работают плохо. Во‑вторых, мелкие элементы вдоль границ и краев — именно там инженеры ищут дефекты или измеряют толщину слоев — размываются при низком разрешении. Наконец, обычный способ обучения моделей суперразрешения — использовать идеально соответствующие пары размытых и резких изображений одной и той же сцены — здесь неприемлем, поскольку производители чипов обычно хранят только изображения TEM с высоким разрешением.

Трехэтапный рецепт для лучших изображений

Чтобы преодолеть эти препятствия, авторы разработали трехступенчатую схему, адаптированную к данным TEM пластин. На первом этапе, названном практической деградацией, они берут изображения с высоким разрешением и намеренно генерируют множество различных версий низкого качества, меняя порядок и силу размытия, понижающей дискретизации, шума и компрессии. Особенно богатая версия этого процесса, названная Hybrid, создает широкий спектр реалистичных искажений, имитирующих неизвестные шаблоны шума, встречающиеся на реальных фабриках. На втором этапе — повышение качества изображения — они берут оригинальные высокоразрешающиеся снимки и делают границы ещё более четкими с помощью метода, названного HighboostFiltering, который сильно подчеркивает границы без добавления дополнительной обучаемой сложности. Эти синтетические пары «низкое качество» и «еще более резкое» высокое разрешение затем служат обучающими данными для третьего этапа, где модель суперразрешения учится превращать плохие изображения в четкие.

Поиск лучшей комбинации

Команда систематически протестировала 48 комбинаций стратегий деградации, методов улучшения и типов моделей. Они сравнили традиционную сверточную сеть, генеративно-состязательную сеть (ESRGAN) и модель на основе диффузии (SR3). Качество изображения оценивалось с помощью метрики, которая определяет, насколько естественно выглядит изображение, без необходимости наличия эталонного изображения. Явным победителем стала ранее не исследованная троица: деградация Hybrid, улучшение HighboostFiltering и модель ESRGAN. Эта комбинация дает изображения, которые наиболее близки к тем, что получают вручную эксперты TEM, с более гладким шумом и гораздо более четкими краями. В отличие от этого, модели на основе диффузии испытывают трудности на небольшом специализированном наборе данных и часто дают нестабильные или зашумленные результаты.

От более красивых картинок к лучшим решениям

Улучшенные изображения полезны только если они помогают в реальных задачах фабрики. Чтобы проверить это, авторы подают суперрезолвированные изображения в мощный универсальный инструмент сегментации для обнаружения областей, похожих на дефекты, и выделения краев, без дообучения этого инструмента. По сравнению с исходными низкоразрешающими входными данными и девятью существующими методами суперразрешения предлагаемая комбинация дает заметно лучшие показатели сегментации и более четкие края — оба фактора критичны для измерения тонких структур и обнаружения едва заметных дефектов. Хотя остаются случаи неудач — например, отдельные зашумленные участки или артефакты от немоделированного шума — исследование демонстрирует, что тщательно продуманная трехэтапная конвейерная схема может сделать низкоразрешающие изображения TEM пластин значительно более информативными. Для неспециалиста ключевое заключение таково: с помощью продуманных синтетических обучающих данных и акцента на границах авторы превратили существующие размытые микроскопические снимки в более острые диагностические инструменты, позволяя полупроводниковой индустрии видеть больше, проводя меньше съемок.

Цитирование: Kim, S., Baek, I., Cho, H. et al. Super-resolution approach tailored for wafer transmission electron microscopy images. Sci Rep 16, 10662 (2026). https://doi.org/10.1038/s41598-026-45776-8

Ключевые слова: суперразрешение, трансмиссионная электронная микроскопия, производство полупроводников, улучшение изображений, глубокое обучение