Metoda superrozdzielczości dostosowana do obrazów mikroskopii transmisyjnej wafli

Bardziej ostre spojrzenie wewnątrz układów scalonych

Nowoczesna elektronika zależy od drobnych struktur wytrawionych głęboko w waflach półprzewodnikowych, jednak ich wyraźne zobrazowanie jest powolne, kosztowne i technicznie trudne. W tym badaniu pokazano, jak zaawansowane techniki przetwarzania obrazów mogą zmienić rozmyte, zaszumione zdjęcia wafli z mikroskopu w ostre, wysokorozdzielcze obrazy, bez konieczności ponownego ich przechwytywania na drogim sprzęcie. Efekt to praktyczny przepis, który może przyspieszyć wykrywanie wad i pomiary w fabrykach chipów, a także skrócić czas, jaki eksperci spędzają przy specjalistycznych mikroskopach.

Dlaczego widzenie pod powierzchnią ma znaczenie

Producenci chipów korzystają już z kilku rodzajów obrazów, aby kontrolować proces produkcji. Zdjęcia powierzchniowe, takie jak mapy wafli i obrazy z skaningowego mikroskopu elektronowego, mogą ujawnić wiele rodzajów wad, lecz nie ukazują, co dzieje się wewnątrz materiału. Mikroskopia transmisyjna elektronów (TEM) wnika głębiej, przesyłając elektrony przez cienkie przekroje wafla, aby odsłonić strukturę w skali atomowej, ukryte defekty i skład materiału. Te wysokorozdzielcze obrazy TEM są wyjątkowo cenne, ale trudno je uzyskać w dużej liczbie, ponieważ przygotowanie i obrazowanie każdej próbki niszczy wafla i wymaga operatorów‑ekspertów oraz długich sesji obrazowania.

Problem z rozmytymi i zaszumionymi obrazami

Zasadniczo inteligentny program komputerowy mógłby przekształcić obrazy TEM wafli o niskiej rozdzielczości w obrazy wysokorozdzielcze — zadanie znane jako superrozdzielczość. W praktyce obrazy TEM wafli stawiają jednak szczególne wyzwania. Po pierwsze wzory szumu są nietypowe, spowodowane rozproszonymi elektronami i niestabilnymi polami magnetycznymi zamiast zwykłego szumu kamerowego, więc gotowe metody oczyszczania działają słabo. Po drugie, drobne cechy przy granicach i krawędziach to miejsca, w których inżynierowie szukają wad lub mierzą grubość warstw, a te krawędzie mają tendencję do rozmycia przy niskiej rozdzielczości. Wreszcie zwykły sposób trenowania modeli superrozdzielczości — używanie idealnie dopasowanych par rozmytych i ostrych obrazów tej samej sceny — tutaj nie jest wykonalny, ponieważ producenci chipów zazwyczaj przechowują jedynie obrazy TEM o wysokiej rozdzielczości.

Trzystopniowy przepis na lepsze obrazy

Aby przezwyciężyć te przeszkody, autorzy zaprojektowali trzyetapowe ramy dostosowane do danych TEM wafli. W pierwszym etapie, nazwanym praktyczną degradacją, zaczynają od obrazów wysokorozdzielczych i celowo generują wiele różnych wersji niskiej jakości, mieszając kolejność i siłę rozmycia, próbkowania, szumu i kompresji. Szczególnie bogata wersja tego procesu, nazwana Hybrid, tworzy szeroki zakres realistycznych zniekształceń, które naśladują nieznane wzory szumu spotykane w prawdziwych fabrykach. W drugim etapie, poprawy obrazu, biorą oryginalne obrazy wysokorozdzielcze i wzmacniają krawędzie, aby stały się jeszcze ostrzejsze, stosując metodę nazwaną HighboostFiltering, która silnie podkreśla granice bez dodawania dodatkowej uczącej się złożoności. Te syntetyczne pary nisko‑ i „dodatkowo ostrych” wysokorozdzielczych obrazów tworzą następnie dane treningowe do trzeciego etapu, w którym model superrozdzielczości uczy się przekształcać słabe obrazy w wyraźne.

Znajdowanie najlepszej kombinacji

Zespół systematycznie przetestował 48 kombinacji strategii degradacji, metod poprawy i typów modeli. Porównali tradycyjną sieć konwolucyjną, sieć generatywno‑adwersarialną (ESRGAN) oraz model oparty na dyfuzji (SR3). Jakość obrazu oceniano za pomocą metryki szacującej, jak naturalnie wygląda obraz bez potrzeby posiadania odniesienia w postaci prawdziwego obrazu. Wyraźnym zwycięzcą okazało się wcześniej niebadane trio: degradacja Hybrid, poprawa HighboostFiltering i model ESRGAN. Ta kombinacja generuje obrazy najbardziej zbliżone do tych pozyskiwanych ręcznie przez ekspertów TEM, z gładszym szumem i znacznie ostrzejszymi krawędziami. Natomiast modele oparte na dyfuzji miały problemy z małym, wyspecjalizowanym zbiorem danych i często dawały niestabilne lub zaszumione wyniki.

Od ładniejszych obrazów do lepszych decyzji

Ulepszone obrazy są użyteczne tylko wtedy, gdy pomagają w rzeczywistych zadaniach fabrycznych. Aby to sprawdzić, autorzy wprowadzili obrazy po superrozdzielczości do potężnego, ogólnego narzędzia segmentacyjnego, aby wykrywać obszary przypominające wady i wydobywać krawędzie, bez ponownego trenowania tego narzędzia. W porównaniu zarówno z surowymi obrazami o niskiej rozdzielczości, jak i z dziewięcioma istniejącymi metodami superrozdzielczości, proponowana kombinacja daje zauważalnie lepsze wyniki segmentacji i ostrzejsze krawędzie — oba aspekty kluczowe do mierzenia drobnych struktur i wykrywania subtelnych defektów. Chociaż pewne przypadki niepowodzeń pozostają — na przykład sporadyczne zaszumione plamy lub artefakty od niezamodelowanego szumu — badanie pokazuje, że starannie zaprojektowany trzyetapowy pipeline może znacząco zwiększyć informacyjność obrazów TEM wafli o niskiej rozdzielczości. Dla laika główny wniosek jest taki, że poprzez sprytne stworzenie danych treningowych i uwypuklenie krawędzi autorzy zamieniają istniejące rozmyte zdjęcia mikroskopowe w ostrzejsze narzędzia diagnostyczne, pozwalając branży półprzewodników zobaczyć więcej, wykonując mniej obrazowań.

Cytowanie: Kim, S., Baek, I., Cho, H. et al. Super-resolution approach tailored for wafer transmission electron microscopy images. Sci Rep 16, 10662 (2026). https://doi.org/10.1038/s41598-026-45776-8

Słowa kluczowe: superrozdzielczość, mikroskopia transmisyjna elektronów, produkcja półprzewodników, ulepszanie obrazu, uczenie głębokie