Адаптивный к аппаратным ограничениям алгоритм обучения для ассоциативной памяти с суперлинейной ёмкостью на кроссбарах мемристоров

Почему умное аппаратное обеспечение памяти важно

Представьте, что вы мельком видите размытый, наполовину стёртый номер телефона и всё равно набираете его правильно. Наш мозг регулярно восстанавливает недостающую информацию таким образом, тогда как современные компьютеры едва справляются с этим эффективно. В этой работе рассматривается новый тип электронной памяти, который способен по шумным подсказкам восстанавливать полные шаблоны — ближе к тому, как работает мозг — и при этом потреблять значительно меньше энергии. Путём переработки как правил обучения, так и аппаратной реализации, исследователи показывают, что такие системы могут хранить больше воспоминаний, чем ожидалось, и продолжать функционировать даже при большом количестве дефектных компонентов.

От мозго-подобного восстановления к электронной памяти

Десятилетия назад учёные предложили концепцию «ассоциативной памяти», которая, подобно мозгу, умеет восстанавливать полный сохранённый шаблон по его частичной или искажённой версии. Популярная математическая модель этого — нейронная сеть Хопфилда, которую можно представить как ландшафт с долинами: каждая долина соответствует сохранённой памяти, а зашумлённый вход «скатывается» в ближайшую. На стандартных цифровых чипах этот процесс медленный и энергоёмкий, поскольку данные приходится постоянно перемещать между отдельными блоками процессора и памяти. Авторы вместо этого опираются на кроссбары мемристоров — сети крошечных электронных элементов, которые одновременно хранят информацию и выполняют вычисления на месте — что обещает массивный параллелизм и значительно меньшие энергозатраты.

Обучение несовершенного аппаратного обеспечения работать со своими дефектами

Реальные мемристоры далеки от идеала. Некоторые «закипают» и больше не меняют проводимость, у других программирование даёт слегка разные значения каждый раз. Предыдущие подходы рассматривали обучение как чисто математическую задачу, игнорируя эти реальные особенности, а затем пытались просто скопировать вычисленные веса в аппаратное обеспечение. Новая работа переворачивает этот подход: алгоритм обучения становится «адаптивным к аппаратуре», т.е. обучается с использованием подробной модели реального чипа, включая сведения о застрявших элементах и диапазоне проводимостей, которых они надёжно достигают. Во время обучения дефектные устройства явно исключаются (маскируются), а остальные настраиваются так, чтобы вся сеть по-прежнему сходилась к правильным памятям при подаче шумных подсказок.

Хранение большего числа воспоминаний с помощью многоуровневых сетей

Классические сети Хопфилда используют один слой связей и известны тем, что могут хранить только количество шаблонов, пропорциональное их размеру. Авторы расширяют свой аппаратно-осведомлённый метод обучения на многослойные сети — добавляя скрытые слои между входом и выходом — реализованные на кроссбарах мемристоров. Эти дополнительные слои функционируют как интеллектуальная стадия сжатия: для структурированных данных, таких как рукописные цифры, система может хранить число шаблонов, которое растёт быстрее, чем линейно по отношению к числу входных единиц — поведение, которое авторы характеризуют как суперлинейную ёмкость. В тестах на уменьшенных изображениях MNIST многослойная конструкция не только хранила больше шаблонов, но и делала это с заметно меньшим числом мемристорных устройств по сравнению с однослойным аналогом, предлагая очевидный путь к масштабированию без взрывного роста затрат на аппаратную часть.

Работа с оттенками серого, а не только с чёрным и белым

Большинство ранних ассоциативных памяти работали только с бинарными паттернами включено/выключено, тогда как реальные данные — изображения, звук, сигналы сенсоров — меняются плавно. Заменив резкую функцию активации «знак» на плавную «tanh» и сочетая её с их многослойным, адаптивным к аппаратуре обучением, авторы показывают, что та же система на мемристорах надёжно восстанавливает непрерывно-значимые шаблоны. Даже если вход сильно искажен шумом, итеративная динамика сети тянет его обратно к правильному сохранённому шаблону. Для таких непрерывных случаев число воспоминаний, которые система может удержать, также растёт быстрее линейно с размером, что указывает на то, что преимущества архитектуры выходят за рамки простых бинарных примеров.

Скорость, эффективность и устойчивость на практике

Поскольку кроссбары мемристоров выполняют многие операции параллельно, исследователи обновляют состояния всех нейронов одновременно, а не по одному, как в традиционных схемах. На прототипе из 64 нейронов такое синхронное обновление сокращает время обработки примерно в тысячу раз и уменьшает энергопотребление в несколько раз по сравнению с ранними асинхронными подходами. Критично, что система сохраняет высокое качество восстановления даже когда до половины устройств постоянно зафиксированы, и её производительность едва изменяется при реалистичных уровнях шума программирования. В целом работа представляет практичный план создания вдохновлённых мозгом запоминающих устройств, которые быстры, энергоэффективны, устойчивы к дефектам и способны хранить богатые непрерывные шаблоны — приближая аппаратуру к ассоциативной мощности биологических мозгов.

Цитирование: He, C., Jiang, M., Shan, K. et al. A hardware-adaptive learning algorithm for superlinear-capacity associative memory on memristor crossbars. Nat Commun 17, 3096 (2026). https://doi.org/10.1038/s41467-026-69958-0

Ключевые слова: ассоциативная память, кроссбар мемристоров, нейроморфное оборудование, сеть Хопфилда, вычисления в памяти