CLOUD: skalowalny i zgodny z fizyką model podstawowy do uczenia reprezentacji kryształów

Dlaczego uczenie się na kryształach ma znaczenie

Żyjemy w świecie zbudowanym z kryształów: układy scalone w naszych telefonach, akumulatory w samochodach elektrycznych i katalizatory oczyszczające spaliny zależą od tego, jak atomy układają się w powtarzające się wzory. Wiedza o tym, jak struktura kryształu wpływa na jego zachowanie, jest kluczem do wynajdywania lepszych materiałów, ale obliczanie tych własności za pomocą tradycyjnych symulacji fizycznych lub eksperymentów laboratoryjnych jest powolne i kosztowne. W artykule przedstawiono nowe podejście AI, nazwane CLOUD, które uczy się na milionach znanych kryształów i z użyciem podstawowych zasad fizyki, aby szybko przewidywać zachowanie nowych materiałów krystalicznych.

Przekształcanie struktur krystalicznych w proste ciągi

Głównym wyzwaniem w uczeniu komputerów o kryształach jest opisanie trójwymiarowego wzoru atomowego w formie, z którą model może efektywnie pracować. Zamiast podawać pełne współrzędne atomów, autorzy zaprojektowali kompaktowy opis nazwany SCOPE. Zawiera on trzy istotne składniki: ogólną symetrię kryształu, powtarzające się zbiory równoważnych miejsc atomowych oraz to, które pierwiastki występują w których miejscach, łącznie z ich względnymi ilościami. Wszystko to wyrażone jest jako krótki, niezależny od współrzędnych ciąg. Ten ciąg zachowuje najważniejsze informacje strukturalne, jednocześnie będąc tani w przechowywaniu i łatwym do odczytania przez model w stylu językowym.

Model językowy dla materiałów

W oparciu o SCOPE autorzy stworzyli CLOUD, model podstawowy oparty na transformatorze, podobny duchem do tych używanych w języku naturalnym. Zamiast uczyć się na zdaniach z internetu, CLOUD jest trenowany na ciągach SCOPE dla ponad sześciu milionów kryształów zebranych z publicznych baz danych. W trakcie tego wstępnego treningu model wielokrotnie widzi częściowe ciągi z ukrytymi tokenami i uczy się odgadywać brakujące fragmenty, zmuszając go do internalizacji wzorców łączących symetrię, rozmieszczenie miejsc i skład. Następnie dodaje się prostą warstwę predykcyjną i model dopracowuje się na mniejszych, oznakowanych zbiorach danych, aby przewidywać konkretne własności, takie jak energia formacji, przerwa energetyczna, sztywność mechaniczna czy odpowiedź dielektryczna.

Dokładny, skalowalny i szeroko zastosowalny

Testowany na standardowych benchmarkach materiałowych CLOUD dorównuje lub przewyższa wiele istniejących modeli uczenia maszynowego, w tym tych opierających się na pełnych współrzędnych atomowych. Szczególnie dobrze radzi sobie, gdy danych jest niewiele lub gdy testowane kryształy różnią się od tych widzianych podczas treningu — co jest powszechną sytuacją w praktycznym odkrywaniu materiałów. Model dobrze działa także dla bardziej złożonych lub „nietypowych” struktur zawierających defekty, duże komórki jednostkowe czy warstwy o niskim wymiarze. Analiza wewnętrznej uwagi modelu ujawnia, że naturalnie koncentruje się on na tokenach symetrii w SCOPE, co potwierdza, że nauczył się wykorzystywać fizycznie istotne wskazówki. Autorzy dodatkowo badają, jak wydajność poprawia się wraz ze wzrostem rozmiaru modelu i ilości danych treningowych i stwierdzają, że CLOUD podąża za przewidywalnymi prawami skalowania, sugerując, że w przyszłości można zbudować jeszcze większe, bardziej zdolne wersje.

Łączenie AI z podstawową fizyką

Praca wykracza poza czyste rozpoznawanie wzorców, osadzając klasyczny model fizyczny bezpośrednio w procesie uczenia. Wiele ważnych własności, takich jak pojemność cieplna i energia wewnętrzna, zależy od drgań atomów na długim zasięgu w krysztale i zmienia się z temperaturą. Zamiast prosić AI o bezpośrednie wyjście tych wartości w jednej temperaturze, autorzy tworzą CLOUD-DEBYE: CLOUD jest trenowany, aby przewidywać pośrednią wielkość zwaną temperaturą Debye’a, która charakteryzuje drgania kryształu, a to przewidywanie jest wprowadzane do standardowego wzoru Debye’a, który daje pojemność cieplną i energię jako funkcję temperatury. Ponieważ równania Debye’a zaimplementowano tak, by przez nie przechodziły gradienty, cały pipeline można trenować end-to-end używając tylko danych o pojemności cieplnej w jednej temperaturze.

Co to oznacza dla odkrywania nowych materiałów

CLOUD-DEBYE nie tylko przewyższa zaawansowane sieci grafowe w przewidywaniu właściwości zależnych od drgań, ale także generuje wyniki zgodne z zasadami termodynamiki w szerokim zakresie temperatur, nawet dla materiałów i temperatur, których nigdy nie widział podczas treningu. Pokazuje to, że połączenie uczenia na dużą skalę z dobrze ugruntowaną fizyką może dać modele zarówno dokładne, jak i godne zaufania. W praktyce ramy CLOUD mogą szybko przesiać ogromne liczby hipotetycznych kryształów, oszacować wiele ich właściwości i robić to w sposób respektujący podstawowe ograniczenia fizyczne. Otwiera to drogę do szybszego, bardziej niezawodnego odkrywania i projektowania materiałów krystalicznych, które leżą u podstaw przyszłej elektroniki, technologii energetycznych i zastosowań konstrukcyjnych.

Cytowanie: Xu, C., Zhu, S. & Viswanathan, V. CLOUD: A Scalable and Physics-Informed Foundation Model for Crystal Representation Learning. Nat Commun 17, 4074 (2026). https://doi.org/10.1038/s41467-026-70467-3

Słowa kluczowe: uczenie maszynowe kryształów, odkrywanie materiałów, modele podstawowe, reprezentacje uwzględniające symetrię, Sztuczna inteligencja zgodna z fizyką