Расширение диапазона графовых нейронных сетей с помощью глобальных кодировок

Почему важны дальние связи в молекулах

От новых лекарств до более эффективных батарей — многие современные достижения опираются на компьютерные модели, которые предсказывают, как тысячи атомов притягивают и отталкивают друг друга. Популярный класс моделей ИИ, называемый графовыми нейронными сетями, стал рабочей лошадкой для этой задачи. Но у этих моделей есть слепое пятно: они в основном обращают внимание на ближайших соседей, хотя далёкие атомы могут сильно влиять друг на друга через электрические и квантовые силы. В этой статье представлена RANGE — подход, дающий таким сетям нечто вроде глобального обзора, чтобы они могли «чувствовать» и предсказывать дальнодействующие эффекты, не становясь при этом чрезмерно медленными или прожорливыми по памяти.

Как нынешнее ИИ видит только окрестность

Графовые нейронные сети представляют молекулу или материал как сеть узлов (атомов), связанных рёбрами (их отношениями). На каждом шаге каждый узел обновляет своё состояние, общаясь только с ближайшими соседями в пределах фиксированного радиуса. Повторение этого процесса многократно постепенно распространяет информацию, но у такой стратегии есть два серьёзных недостатка. Во‑первых, сообщения могут размываться по мере прохождения через множество посредников — это явление называют oversmoothing. Во‑вторых, узкие пути в графе могут ограничивать поток информации, вызывая oversquashing. Обе проблемы становятся критичными при попытке учесть силы, действующие на многих ангстремах, такие как электростатика и дисперсия в больших молекулах или кристаллах. Простое увеличение радиуса взаимодействия или наращивание числа слоёв делает модели дорогостоящими и всё равно не полностью решает эти узкие места.

Добавление виртуальных хабов для глобальной коммуникации

RANGE (Relaying Attention Nodes for Global Encoding) меняет эту картину, добавляя небольшой набор виртуальных «мастер‑узлов», не соответствующих реальным атомам. Они выступают как глобальные хабы. После обычного шага передачи сообщений между соседними атомами сведения со всех атомов собираются в эти хабы с помощью механизма внимания: каждый мастер‑узел учится фокусироваться на тех частях системы, которые важны. Эта агрегация создаёт грубо‑масштабированные сводки состояния молекулы. На втором этапе — трансляции — эти сводки рассылаются обратно каждому атому, снова с использованием внимания, чтобы каждый атом мог решить, насколько ему «слушать» каждый мастер‑узел, сохраняя при этом локальную память через самосвязи. Поскольку каждый атом напрямую соединён с каждым мастер‑узлом, дальнодействующая коммуникация может происходить за один шаг, превращая граф в «small‑world» сеть, где отдалённые регионы быстро и эффективно влияют друг на друга.

Видеть дальние силы, которые другие пропускают

Исследователи протестировали RANGE, подключив его к нескольким передовым моделям молекулярных полей сил и сравнив их с исходными, чисто локальными версиями. Они использовали сложные системы, где дальнодействующие эффекты известны как критичные: кристалл соли с дополнительным ионом натрия, действующим как допант, диммер золота, приближающийся к допированному оксидному слою, и пары органических молекул, взаимодействующих на различном расстоянии. Стандартные модели в основном не замечали, как отдалённые перераспределения заряда или скрытые допанты изменяют энергетический ландшафт; их предсказания практически не менялись при изменении дальнего окружения. Напротив, модели с RANGE корректно воспроизводили разные энергетические кривые и могли экстраполировать на большие расстояния, нежели те, что были в обучающей выборке, с ошибками до четырёх раз меньшими для сложных заряженных диммеров.

Точность без перегрузки компьютера

Ключевой момент: RANGE обеспечивает это улучшённое «видение» без резкого возрастания вычислительных затрат, присущих другим глобальным подходам. Приёмы, заимствованные из физики, такие как суммирование Эвальда или коррекции на основе преобразований Фурье, требуют операций, масштаб которых примерно квадратично зависит от числа атомов, или полагаются на большие сетки, что делает их тяжёлыми для крупных систем и многократных симуляций. RANGE по конструкции масштабируется линейно с размером системы: каждый мастер‑узел соединён со всеми атомами, но число мастер‑узлов растёт умеренно и контролируется схемой регуляризации, которая предотвращает их избыточность. Бенчмарки на больших наборах данных показывают, что RANGE последовательно снижает ошибки в предсказанных силах, даже когда базовые модели используют короткие отсечки взаимодействий, и делает это с лишь умеренным увеличением времени выполнения и потребления памяти. Команда также запустила моделирование молекулярной динамики на десятки наносекунд для сложных молекул и обнаружила, что поля сил на базе RANGE оставались стабильными и исследовали реалистичные конформации и состояния.

Более ясный глобальный взгляд на молекулярные миры

Для неспециалистов главный вывод в том, что RANGE даёт существующим графовым моделям ИИ новый способ мыслить глобально, оставаясь при этом локальными в работе. Вводя интеллектуальные виртуальные хабы и поток информации, управляемый вниманием, он преодолевает обычные узкие места, мешающие нейронным сетям захватывать дальнодействующие многотельные эффекты в молекулах и материалах. Это означает более надёжные предсказания для систем, где удалённые друг от друга регионы тонко влияют друг на друга — от гибких лекарственных молекул до протяжённых наноструктур — без чрезмерных вычислительных затрат. По мере применения этих методов к всё более крупным и сложным средам они обещают инструменты ИИ, которые точнее отражают истинную, дальнодействующую природу физических взаимодействий.

Цитирование: Caruso, A., Venturin, J., Giambagli, L. et al. Extending the range of graph neural networks with global encodings. Nat Commun 17, 1855 (2026). https://doi.org/10.1038/s41467-026-69715-3

Ключевые слова: графовые нейронные сети, дальнодействующие взаимодействия, молекулярные моделирования, поле сил, обученное машинным обучением, механизмы внимания