Förbättrad prestanda i djupa neurala nätverk genom provtagning

Smartare AI med små myntkastande neuroner

När artificiell intelligens har blivit kraftfullare har den också blivit glupsk på energi. Att träna och köra moderna bild- och språkmodeller kan dra lika mycket el som små samhällen. Denna artikel utforskar en kontraintuitiv idé: i stället för att göra neurala nätverk allt mer precisa och komplexa, kan vi göra deras byggstenar enklare och brusigare – mer som att kasta digitala mynt – och sedan använda smart provtagning för att uppnå lika bra eller till och med bättre resultat samtidigt som vi sparar energi.

Från precisa kretsar till probabilistiska hjärnor

De flesta av dagens djupa neurala nätverk använder ”deterministiska” enheter: matas samma tal in får man alltid samma svar. Författarna fokuserar på ett alternativ som kallas probabilistiska bitar, eller p-bitar. Varje p-bit beter sig som ett litet, snedvridet mynt som växlar mellan 0 och 1 enligt sannolikheter som bestäms av dess insignaler. Genom att ta flera prov från samma nätverk av p-bitar och medelvärdesbilda deras utsignaler kan systemet approximera rikare, flervärdiga beteenden utan att lagra eller bearbeta lika många preciserade tal. Denna idé knyter modern AI till tidigare Ising- och Boltzmann-maskiner, där sådana probabilistiska enheter redan var kända för att vara effektiva för optimerings- och provtagningsproblem.

Flera snabba gissningar i stället för ett tungt svar

Studien ställer en enkel men praktisk fråga: om vi vill ha bättre noggrannhet, är det billigare att lägga till mer digital precision i varje neuron, eller att hålla neuroner extremt enkla och i stället ta flera prov från dem? Författarna bygger en generell energiformel som bryter ner kostnaden för en elementär operation i ett neuralt nätverk i fyra delar: läsa vikter från minnet, läsa och skriva aktiveringar, kombinera insignaler (synapsen) och applicera icke-linjärheten (neuronen). Viktigt är att vikter kan läsas en gång och sedan återanvändas för att generera flera prov, så den dominerande kostnaden – åtkomst till minne – kan fördelas över många körningar. Det innebär att tio prover är långtifrån tio gånger så dyra som ett.

Test av probabilistiska nätverk på bilder

För att se om denna avvägning lönar sig i praktiken testar forskarna probabilistiska djupa neurala nätverk (p-DNNs) på både bildklassificering (CIFAR-10) och bildgenerering (ansikten från CelebA och siffror från MNIST). De ersätter standard multi-bit-aktiveringar med enkelbits p-bitar och tränar nätverken på ett ”provmedvetet” sätt, där förlustfunktionen beräknas från medelvärdet av flera stokastiska framåtkörningar. För klassificering finner de att även med 1-bitars aktiveringar kan ett enda prov matcha noggrannheten hos en fullprecisionsmodell, och två prover överträffar den. Med fler prover närmar sig 1-bitars p-DNNs noggrannheten hos 3-bitars deterministiska nätverk. För bildgenerering ger en naiv ersättning av aktiveringar med p-bitar brusiga bilder, men om man tränar om med de verkliga stokastiska elementen och hanterar sista lagret varsamt kan man framställa ansiktsbilder vars kvalitet nästan matchar 32-bitarsbaslinjen enligt en standardiserad avståndsmetrik.

Energikostnader och verklig hårdvara

Författarna går bortom simuleringar och undersöker energi på verklig hårdvara. Genom att använda data från en 65 nm-krets byggd för probabilistiska kretsar och ytterligare kretsimuleringar visar de att stora moderna AI-arbetslaster domineras av minnesenergi, inte aritmetik. Eftersom p-DNNs dramatiskt förenklar huvudsteget i beräkningen – från full multiplikation-och-accumulering till enkla additioner med 1-bitars aktiveringar – förändrar den extra beräkningen som krävs för att ta ett fåtal prover knappt den totala energin när vikterna ligger i energikrävande externminne. De validerar dessa förutsägelser på en FPGA-implementation av ett bildgenererande nätverk: den probabilistiska versionen minskar den totala energin per inferens med ungefär 2,5 gånger jämfört med en standarddesign, samtidigt som den producerar jämförbara sifferbilder. Överhead för slumpmässighetsgenerering och jämförelser är obetydlig i förhållande till minne och grundläggande aritmetik.

Varför justerbar provtagning spelar roll

En utmärkande fördel med probabilistiska nätverk är att noggrannheten kan ställas in i körningstid genom att ändra antalet prover. En enda 1-bitars p-DNN-motor kan uppträda som en 1-, 2- eller 3-bitars kvantiserad modell beroende på hur många prover den tar, utan att hårdvaran behöver göras om. Denna flexibilitet är särskilt attraktiv för stora språkmodeller, där viktprecision redan pressas ned till några få bitar, medan aktiveringsprecision är svårare att reducera utan att försämra kvaliteten. Ramverket i denna artikel visar hur man kan uppskatta, för en given modell, om det är värt energimässigt att ta extra prover jämfört med att öka bitbredden.

En ny väg till effektiv, flexibel AI

Enkelt uttryckt visar artikeln att ”brusiga” neurala enheter kan utnyttjas i stället för att undvikas. Genom att betrakta varje framåtkörning som en billig, approximativ gissning och sedan medelvärdesbilda ett litet antal sådana gissningar kan nätverk nå nära fullprecisionsprestanda med drastiskt enklare beräkningar och blygsam energioverhead. Eftersom minne dominerar energiräkningen är kostnaden för extra provtagning liten, särskilt när vikter läses en gång och återanvänds. Detta antyder en lovande väg för AI-hårdvara som inte bara är mer energieffektiv, utan också anpassningsbar i realtid – att höja eller sänka provtagningsantalet för att byta mellan noggrannhet och batteritid eller hastighet beroende på behov.

Citering: Ghantasala, L.A., Li, MC., Jaiswal, R. et al. Improving deep neural network performance through sampling. npj Unconv. Comput. 3, 18 (2026). https://doi.org/10.1038/s44335-026-00063-7

Nyckelord: probabilistiska neurala nätverk, energieffektiv AI, inferenz baserad på provtagning, beräkningar med låg precision, hårdvara för djupinlärning