PADP: progressieve en adaptieve gegevenspruning voor effici3nte incrementele leerprocessen

Waarom slimmer leren met minder data telt

Moderne kunstmatige-intelligentiesystemen hebben veel data en rekenkracht nodig, wat ze duur maakt om te trainen en moeilijk inzetbaar op alledaagse apparaten zoals telefoons, camera’s of huishoudrobots. Tegelijkertijd moeten deze systemen steeds vaker blijven leren na verloop van tijd wanneer nieuwe soorten beelden of situaties verschijnen. Dit artikel introduceert een methode genaamd PADP die neurale netwerken helpt efficiënter te leren door tijdens het trainen te beslissen welke voorbeelden echt de aandacht waard zijn en welke veilig overgeslagen kunnen worden, zonder belangrijke eerder opgedane kennis te verliezen.

Machines stap voor stap onderwijzen

De meeste beeldherkenningssystemen worden eenmaal getraind op een vaste dataset en daarna ingezet. In de echte wereld blijven er echter nieuwe categorieën opduiken: een bewakingscamera moet mogelijk nieuwe objecten herkennen, of een medisch systeem krijgt met nieuwe ziekten te maken. Dit stapsgewijze proces, bekend als incrementeel leren, brengt een grote uitdaging met zich mee: wanneer een model zich richt op nieuwe klassen, vergeet het vaak oudere, een probleem dat catastrofaal vergeten wordt genoemd. Tegelijkertijd is trainen op alle beschikbare data bij elke nieuwe stap verspilling en vaak onmogelijk op apparaten met beperkte geheugen- en energiebronnen. De auteurs betogen dat we om incrementeel leren praktisch te maken methoden nodig hebben die zowel de trainingsinspanning verminderen als zorgvuldig de nuttigste oude en nieuwe voorbeelden behouden.

Lastige en onstabiele voorbeelden selecteren

PADP pakt dit aan door elk trainingsvoorbeeld te scoren op basis van hoe nuttig het is voor het model op verschillende momenten tijdens het trainen. De eerste score, het instantane moeilijkheidsscore, meet hoeveel de huidige voorspelling van het model afwijkt van het juiste antwoord. Als het model consequent zelfverzekerd en correct is op een afbeelding, wordt die als eenvoudig beschouwd en minder belangrijk om opnieuw te zien. Als het moeite heeft, wordt de afbeelding als moeilijk beschouwd en verdient het behoud. De tweede score, de variatie van de moeilijkheidsscore, bekijkt hoe deze moeilijkheidswaarden veranderen gedurende de training. Als de moeilijkheid van een voorbeeld op en neer springt, wijst dat op onstabiel leren of vergeten, en behandelt de methode zulke voorbeelden als bijzonder informatief. Door te combineren hoe moeilijk een voorbeeld nu is met hoe die moeilijkheid zich ontwikkelt, bouwt PADP een rijker beeld op van waar het model echt op moet oefenen.

Gegevens geleidelijk bijsnoeien, niet in één keer

In plaats van grote stukken data in één besluit weg te gooien, snoeit PADP de trainingsset geleidelijk terwijl het leerproces voortschrijdt. Na een eerste opwarmperiode evalueert de methode herhaaldelijk alle momenteel gebruikte voorbeelden, rangschikt ze op de gecombineerde moeilijkheidsscore en verwijdert een deel van degenen die het minst behulpzaam lijken. De prune-ratio groeit geleidelijk in de tijd, zodat vroege beslissingen conservatief zijn en latere beslissingen agressiever zodra het begrip van het model is gestabiliseerd. Een eenvoudige maar belangrijke voorzorgsmaatregel zorgt ervoor dat elke klasse ten minste een minimaal aantal voorbeelden houdt, zodat zeldzame categorieën niet onbedoeld worden weggevaagd. Dit geleidelijke en klassebewuste snoeien houdt de trainingsdata slank zonder variatie op te offeren.

Sterkere resultaten met minder training

De onderzoekers testten PADP op twee standaard beelddatasets, CIFAR-100 en Tiny-ImageNet, onder verschillende incrementele leerscenario’s en vergeleken het met veel bestaande technieken voor selectie of pruning van data. In directe vergelijkingen behaalde een variant van PADP met vaste pruningdoelen hogere nauwkeurigheid dan alle baselines bij dezelfde prune-niveaus, en overtrof in sommige gevallen zelfs de nauwkeurigheid van trainen op de volledige datasets. De standaard adaptieve versie, die geen vooraf ingestelde prune-ratio vereist, verbeterde de nauwkeurigheid met ongeveer tot 6 procentpunten ten opzichte van volledige-data training, terwijl de trainingstijd met zo’n 53 procent kon worden teruggebracht. De methode werd ook toegepast binnen verschillende incrementele leerkaders en verminderde consequent het vergeten van oude klassen terwijl de algehele nauwkeurigheid toenam of in ieder geval behouden bleef, wat suggereert dat de voordelen breed toepasbaar zijn en niet aan één modelontwerp gebonden.

Wat dit betekent voor alledaagse AI

Simpel gezegd leert PADP neurale netwerken slimmer te oefenen, in plaats van harder. Door continu te beoordelen welke afbeeldingen eenvoudig zijn, welke lastig en welke het model blijft herleren of vergeten, kan het overbodige trainingsvoorbeelden wegsnoeien zonder prestaties te schaden—en vaak verbetert het die zelfs. Tegelijkertijd beschermt het minder vaak voorkomende klassen tegen verdwijnen tijdens het pruningproces. Deze combinatie van efficiëntie en stabiliteit is vooral belangrijk voor AI-systemen die zich in de loop van tijd moeten bijwerken op apparaten met beperkte middelen. Hoewel het huidige werk zich richt op beeldclassificatie, zou het onderliggende idee van moeilijkheidsbewuste, progressieve gegevenspruning toekomstige systemen in veel domeinen kunnen helpen nieuwe vaardigheden te leren zonder te vergeten wat ze al weten.

Bronvermelding: Duan, B., Liu, D., He, Z. et al. PADP: progressive and adaptive data pruning for efficient incremental learning. Sci Rep 16, 13440 (2026). https://doi.org/10.1038/s41598-026-43959-x

Trefwoorden: incrementeel leren, gegevenspruning, effici3ntie van deep learning, catastrofaal vergeten, voorbeeldselectie