PADP: verimli artımlı öğrenme için ilerleyici ve uyarlanabilir veri budama

Neden daha az veriden daha akıllıca öğrenmek önemli

Modern yapay zeka sistemleri veri ve hesaplama gücü açısından çok talepkardır; bu da onları eğitmeyi pahalı ve telefonlar, kameralar veya ev robotları gibi günlük cihazlarda çalıştırmayı zorlaştırır. Aynı zamanda, bu sistemlerin yeni görüntü veya durum türleri ortaya çıktıkça zaman içinde öğrenmeye devam etmeleri gerekebilir. Bu makale, PADP adlı bir yöntem sunuyor; bu yöntem, eğitim sırasında hangi örneklerin gerçekten dikkate değdiğini ve hangilerinin güvenle atlanabileceğini belirleyerek sinir ağlarının daha verimli öğrenmesine yardımcı oluyor ve aynı zamanda geçmişteki önemli bilgilerin kaybını önlüyor.

Makineleri küçük adımlarla öğretmek

Çoğu görüntü tanıma sistemi sabit bir veri yığını üzerinde bir kez eğitilir ve sonra konuşlandırılır. Oysa gerçek dünyada yeni kategoriler sürekli ortaya çıkar: bir güvenlik kamerası yeni nesneleri tanımak zorunda kalabilir veya bir tıbbi sistem yeni hastalıklarla karşılaşabilir. Bu adım adım süreç, artımlı öğrenme olarak bilinir ve büyük bir zorluk getirir: bir model yeni sınıflara odaklandığında genellikle önceki sınıfları unutma eğilimindedir; buna yıkıcı unutma denir. Aynı zamanda, her yeni adım için tüm mevcut verilerde eğitim yapmak israfkar ve bellek ile güç açısından sınırlı cihazlarda çoğunlukla imkânsızdır. Yazarlar, artımlı öğrenmeyi pratik hale getirmek için hem eğitim çabasını azaltan hem de hem eski hem yeni en yararlı örnekleri dikkatle koruyan yöntemlere ihtiyaç olduğunu savunuyor.

Zorlu ve kararsız örnekleri seçmek

PADP, her eğitim örneğini model için farklı anlarda ne kadar faydalı olduğuna göre puanlayarak bu sorunu ele alır. Birinci puan, anlık zorluk puanı olarak adlandırılır ve modelin mevcut tahmininin doğru yanıtla ne kadar farklı olduğunu ölçer. Model bir görüntü üzerinde tutarlı şekilde kendinden emin ve doğruysa, o görüntü kolay kabul edilir ve tekrar görmesi daha az kritik sayılır. Zorluk yaşarsa, görüntü zor olarak ele alınır ve saklanmaya değer görülür. İkinci puan, zorluk puanının değişimi, bu zorluk değerlerinin eğitim boyunca nasıl değiştiğine bakar. Bir örneğin zorluğu yukarı aşağı sıçrıyorsa bu kararsız öğrenme veya unutmayı işaret eder ve yöntem bu tür örnekleri özellikle bilgilendirici sayar. Bir örneğin şu an ne kadar zor olduğu ile zorluğunun nasıl evrildiğini birleştirerek, PADP modelin gerçekten üzerinde çalışması gerekenler hakkında daha zengin bir görüş oluşturur.

Veriyi bir kerede değil adım adım budamak

Büyük veri parçalarını tek bir kararla atmak yerine PADP, öğrenme ilerledikçe eğitim setini kademeli olarak budar. İlk ısınma döneminden sonra yöntem, o anda kullanılan tüm örnekleri tekrar tekrar değerlendirir, onları birleşik zorluk puanına göre sıralar ve en az faydalı görünenlerin bir kısmını kaldırır. Budama oranı zamanla kademeli olarak artar; bu yüzden erken kararlar temkinlidir, modelin anlayışı stabil hale geldikçe sonraki kararlar daha agresif olur. Basit ama önemli bir koruma, her sınıfın en az bir asgari sayıda örnek tutmasını sağlar, böylece nadir kategoriler istemeden silinmez. Bu kademeli ve sınıf-dikkatli kırpma, çeşitliliği feda etmeden eğitim verisini sade tutar.

Daha az eğitimle daha güçlü sonuçlar

Araştırmacılar PADP’yi CIFAR-100 ve Tiny-ImageNet olmak üzere iki standart görüntü koleksiyonunda çeşitli artımlı öğrenme kurulumlarında test etti ve veri seçimi veya budaması için mevcut birçok teknikle karşılaştırdı. Doğrudan karşılaştırmalarda, sabit budama hedeflerine sahip PADP çeşidi aynı budama seviyelerinde tüm temel yöntemlerden daha yüksek doğruluk elde etti ve bazı durumlarda tam veri setleriyle eğitmenin doğruluğunu bile aştı. Ön ayarlı bir budama oranı gerektirmeyen varsayılan uyarlanabilir versiyon, tam veriyle eğitime kıyasla doğruluğu yaklaşık olarak 6 puana kadar iyileştirirken eğitim süresini yaklaşık %53’e varan oranlarda kısalttı. Yöntem ayrıca çeşitli artımlı öğrenme çerçevelerine takılabildi ve eski sınıfların unutulmasını sürekli olarak azalttı; genel doğruluğu yükseltti veya en azından korudu. Bu da faydalarının tek bir model tasarımına bağlı olmaktan ziyade geniş olduğunu gösteriyor.

Günlük yapay zekâ için ne anlama geliyor

Basitçe söylemek gerekirse, PADP sinir ağlarına daha çok değil daha akıllıca çalışma öğretiyor. Hangi görüntülerin kolay, hangi görüntülerin zor ve hangilerini modelin tekrar tekrar öğrendiği ya da unuttuğunu sürekli değerlendirerek, gereksiz eğitim verilerini performansı zedelemeden budayabiliyor—ve sıklıkla performansı iyileştiriyor. Aynı zamanda nadir sınıfların bu budama sırasında kaybolmasını engelliyor. Bu verimlilik ve kararlılık bileşimi, kaynakları sınırlı cihazlarda zaman içinde kendini güncellemesi gereken yapay zekâ sistemleri için özellikle önemlidir. Mevcut çalışma görüntü sınıflandırmaya odaklansa da, zorluk farkındalıklı ilerleyici veri budamanın altında yatan fikir, gelecekteki sistemlerin birçok alanda yeni becerileri anında öğrenirken bildiklerini unutmamalarına yardımcı olabilir.

Atıf: Duan, B., Liu, D., He, Z. et al. PADP: progressive and adaptive data pruning for efficient incremental learning. Sci Rep 16, 13440 (2026). https://doi.org/10.1038/s41598-026-43959-x

Anahtar kelimeler: artımlı öğrenme, veri budama, derin öğrenme verimliliği, yıkıcı unutma, örnek seçimi