Algorytm uczenia dostosowany do sprzętu dla pamięci asocjacyjnej o nadliniowej pojemności na krzyżówkach memrystorowych

Dlaczego inteligentniejszy sprzęt pamięciowy ma znaczenie

Wyobraź sobie, że zerkniesz na rozmyty, częściowo wymazany numer telefonu i mimo to wybierzesz go poprawnie. Nasze mózgi rutynowo uzupełniają brakujące informacje w ten sposób, ale współczesne komputery mają z tym problem, szczególnie jeśli chodzi o efektywność. Artykuł bada nowy rodzaj pamięci elektronicznej, która potrafi przywołać kompletne wzorce z zaszumionych wskazówek — bliżej sposobu działania mózgu — przy znacznie mniejszym zużyciu energii. Przez przeprojektowanie zarówno reguł uczenia, jak i sprzętu, autorzy pokazują, że takie systemy mogą przechowywać więcej wspomnień niż oczekiwano i działać nawet wtedy, gdy wiele ich elementów jest uszkodzonych.

Od przywoływania jak w mózgu do pamięci elektronicznej

Dziesięciolecia temu naukowcy zaproponowali „pamięci asocjacyjne”, które, podobnie jak mózg, potrafią odtworzyć pełen zapisany wzorzec, gdy podano tylko jego fragment lub zniekształconą wersję. Popularnym modelem matematycznym tego zjawiska jest sieć Hopfielda, która przypomina krajobraz dolin: każda dolina reprezentuje zapamiętany wzorzec, a zaszumione wejście stacza się do najbliższej z nich. Na standardowych układach cyfrowych jednak proces ten jest powolny i energochłonny, ponieważ dane muszą być przesyłane między oddzielnymi jednostkami przetwarzającymi i pamięcią. Autorzy polegają zamiast tego na krzyżówkach memrystorowych — siatkach miniaturowych elementów elektronicznych, które jednocześnie przechowują informację i wykonują obliczenia na miejscu — co obiecuje ogromną równoległość i znacznie niższe zużycie energii.

Uczenie niedoskonałego sprzętu współpracy z własnymi wadami

Prawdziwe memrystory są dalekie od doskonałości. Niektóre z nich blokują się i przestają zmieniać przewodność, inne nieznacznie się różnią przy każdym programowaniu. Poprzednie projekty traktowały uczenie jako czysto matematyczne ćwiczenie, ignorując te rzeczywiste usterki i próbując potem skopiować wyliczone wagi do sprzętu. Nowe podejście odwraca to: algorytm uczenia jest „dostosowany do sprzętu”, co oznacza, że jest trenowany z użyciem szczegółowego modelu rzeczywistego układu, w tym informacji o tym, które elementy są zablokowane i jakiego zakresu przewodności mogą wiarygodnie osiągnąć. Podczas treningu uszkodzone urządzenia są jawnie maskowane, a pozostałe są dostrajane tak, by cała sieć nadal zbiegała do właściwych pamięci przy podawaniu zaszumionych wskazówek.

Przechowywanie większej liczby wzorców dzięki sieciom warstwowym

Klasyczne sieci Hopfielda używają jednej warstwy połączeń i wiadomo, że przechowują jedynie liczbę wzorców proporcjonalną do ich rozmiaru. Autorzy rozszerzają swoją metodę uczenia uwzględniającą sprzęt na sieci wielowarstwowe — dodając ukryte warstwy między wejściem a wyjściem — zaimplementowane na krzyżówkach memrystorowych. Te dodatkowe warstwy działają jak inteligentny etap kompresji: dla ustrukturyzowanych danych, takich jak ręcznie pisane cyfry, system może przechowywać liczbę wzorców rosnącą szybciej niż liniowo względem liczby jednostek wejściowych, co autorzy opisują jako nadliniową pojemność. W testach na przeskalowanych obrazach cyfr z zestawu MNIST projekt wielowarstwowy nie tylko przechowywał więcej wzorców, lecz robił to przy dramatycznie mniejszej liczbie memrystorów niż odpowiednik jednowarstwowy, oferując jasną ścieżkę skalowania bez eksplodujących kosztów sprzętowych.

Radzenie sobie z odcieniami szarości, nie tylko z czarno-białymi wzorcami

Większość wcześniejszych pamięci asocjacyjnych działała tylko z prostymi wzorcami włączenia/wyłączenia, podczas gdy dane rzeczywiste — obrazy, dźwięki, sygnały czujników — zmieniają się płynnie. Zastępując ostrą aktywację „sign” gładką funkcją „tanh” i łącząc ją z ich wielowarstwowym, dostosowanym do sprzętu treningiem, autorzy pokazują, że ten sam system memrystorowy może niezawodnie przywoływać wzorce o wartościach ciągłych. Nawet gdy wejście jest silnie zanieczyszczone szumem, iteracyjna dynamika sieci przyciąga je z powrotem w kierunku prawidłowo zapisanych wzorców. Dla tych ciągłych przypadków liczba pamięci, które system może pomieścić, także rośnie szybciej niż liniowo wraz z rozmiarem, co wskazuje, że korzyści architektury wykraczają poza binarne przykłady dydaktyczne.

Szybkość, efektywność i odporność w praktyce

Ponieważ krzyżówki memrystorowe wykonują wiele operacji równolegle, badacze aktualizują wszystkie stany neuronów jednocześnie, zamiast pojedynczo jak w tradycyjnych schematach. Na prototypie z 64 neuronami takie synchroniczne aktualizowanie skraca czas przetwarzania około tysiąckrotnie i zmniejsza zużycie energii wielokrotnie w porównaniu z wcześniejszymi podejściami asynchronicznymi. Co istotne, system utrzymuje wysoką jakość przywołań nawet gdy do połowy urządzeń jest trwale zablokowanych, a jego wydajność niemal nie zmienia się przy realistycznym szumie programowania. Ogólnie praca przedstawia praktyczny plan pamięci inspirowanych mózgiem: szybkie, energooszczędne, odporne na defekty i zdolne do przechowywania bogatych, ciągłych wzorców — zbliżając sprzęt do asocjacyjnej mocy biologicznych mózgów.

Cytowanie: He, C., Jiang, M., Shan, K. et al. A hardware-adaptive learning algorithm for superlinear-capacity associative memory on memristor crossbars. Nat Commun 17, 3096 (2026). https://doi.org/10.1038/s41467-026-69958-0

Słowa kluczowe: pamięć asocjacyjna, krzyżówka memrystorowa, sprzęt neuromorficzny, sieć Hopfielda, obliczenia w pamięci