Müzakere destekli federatif pekiştirmeli öğrenme ile çakışmasız kenar–bulut akış zamanlaması

Akıllı uygulamalar için sahne arkasında daha düzgün trafik neden gerekli

Canlı trafik haritalarından fabrika sensörlerine kadar birçok modern uygulama, milisaniyeler içinde işlenmesi gereken sürekli bir veri akışına dayanıyor. Yetişebilmek için firmalar hesaplamaları yakın kenar cihazları ve uzak bulut sunucuları arasında dağıtıyor. Ancak ağın birçok bölümü aynı anda kendi kararlarını verdiğinde çakışmalar ortaya çıkabiliyor; dijital trafik sıkışmaları, artan maliyetler ve yavaşlayan yanıtlar oluşuyor. Bu makale, bu kararları koordine etmenin yeni bir yolunu inceleyerek akış uygulamalarının değişken talepler altında bile hızlı, kararlı ve verimli kalmasını sağlıyor.

Kenar ve bulut iş birliğinin büyüme sancıları

Akıllı kameralar, araçlar ve endüstriyel sensörler artık gerçek zamanlı analiz gerektiren kesintisiz veri akışları gönderiyor. Kullanıcıya yakın kenar bilgisayarlar gecikmeyi azaltırken bulut veri merkezleri ek işlem gücü sağlıyor. Yine de her iş parçacığının nerede çalıştırılacağına karar vermek zor; görevler birbirine bağımlı ve iş yükleri aniden zirve yapabiliyor. Klasik zamanlama yöntemleri sabit kurallara veya çevrimdışı planlamaya dayanıyor. Daha sakin ortamlarda işe yarıyorlar ama binlerce görev ve makinenin her saniye çoklu bölgelere uyum sağlaması gerektiğinde zorlanıyorlar. Tam merkezileşmiş denetim tıkanma noktası olurken, tamamen bağımsız yerel denetleyiciler sıklıkla paylaşılan kaynaklar üzerinde çatışmaya giriyor.

Zamanlamayı öğrenmek ama başkalarının ayağına basmamak

Son yaklaşımlar, yazılım ajanlarının deneme-yanılma yoluyla iyi zamanlama kuralları öğrenmesine izin veriyor; buna pekiştirmeli öğrenme deniyor. Federatif öğrenme, birçok ajanın ham verilerini yerel tutarken birlikte eğitilmesine olanak tanıyor; bu gizlilik ve bant genişliği açısından önemli. Ancak her kenar kümesi kendi başına öğrenip modelleri sadece arada bir senkronize ettiğinde, eylemleri yine çakışabiliyor. İki küme aynı anda aynı bulut sunucularına iş yükü aktarabilir veya görevleri gidip getirerek ekstra gecikme ve enerji israfı yaratabilir. Yazarlar, eksik olan şeyin ajanların harekete geçmeden önce birbirleriyle açıkça iletişim kurup müzakere etmesinin bir yolunun olduğunu savunuyor.

Dijital zamanlayıcılar için bir müzakere masası

Önerilen çerçeve FedNeg-RL, federatif pekiştirmeli öğrenmenin üzerine hafif bir müzakere katmanı ekliyor. Her kenar cihaz kümesinin, yerel yükü izleyen, yakın gelecekteki trafiği tahmin eden ve gecikmeye karşı en hassas görevleri takip eden temsilci bir ajanı var. Paylaşılan bağlantıları veya bulut düğümlerini etkileyebilecek değişiklikler yapmadan önce bu temsilciler ham veriler yerine beklenen yük ve eylemlerinin muhtemel etkisi gibi kısa özetler değiş tokuş ediyor. Basit argüman tarzı protokollerle, çakışmaları önleyecek ortak bir plan üzerinde müzakere ediyorlar ve ardından her küme uzlaşılmış eylemi yerel olarak uyguluyor. Zamanla öğrenme süreçleri, gecikmeyi düşük, enerji ve maliyeti makul ve çakışmaları nadir tutan planları ödüllendirecek şekilde şekilleniyor.

Yoğun sanal şehirlerde yaklaşımı test etmek

FedNeg-RL'yi değerlendirmek için yazarlar, yüzlerce birbirine bağlı görev ve akıllı şehir trafik izleme sistemlerinde bulunanlara benzer patlamalı, tahmin edilmesi zor veri akışlarını içeren Nesnelerin İnterneti tarzı iş yüklerinin ayrıntılı simülasyonlarını kurdular. Yöntemlerini kural tabanlı zamanlayıcılar, evrimsel algoritmalar, standart yerel pekiştirmeli öğrenme, saf federatif öğrenme ve tek merkezî bir öğrenme ajanı ile karşılaştırdılar. Birçok senaryoda FedNeg-RL, çakışmaların tetiklediği yıkıcı yeniden yapılandırma sayısını yüzde 41'e kadar azalttı, yüksek uç gecikmeyi (en yavaş yanıtların yüzde 10'u) yaklaşık yüzde 20–28 oranında düşürdü ve uyum maliyetini yaklaşık yüzde 35 azalttı. Ayrıca enerjiyi daha dengeli kullandı ve görev ile makine sayısı arttıkça iyi ölçeklendi.

Gelecekteki bağlı sistemler için anlamı

Düz ifadeyle FedNeg-RL, yazılım denetleyicilerine yalnızca deneyimden öğrenmeyi öğretmenin değil, aynı zamanda akranlarıyla müzakere etmeyi öğretmenin de paylaşılan kenar ve bulut altyapısının daha sorunsuz çalışmasını sağlayabileceğini gösteriyor. Dağınık, rekabet eden kararlara yerine kümeler, akış uygulamalarının duyarlı, kararlı ve verimli kalması için yeterli düzeyde koordinasyon sağlıyor; hem özel verileri açığa çıkarmadan hem de tek bir merkezi zekâya güvenmeden. Gerçek dünya dağıtımları daha büyük ve karmaşık hale geldikçe, bu tür müzakere farkındalıklı öğrenme, akıllı şehirlerin, fabrikaların ve hizmetlerin arkasındaki görünmez hesaplama dokusunun talepler sürekli değişse bile sessizce çalışmaya devam etmesine yardımcı olabilir.

Atıf: Kang, X., Hua, C. Negotiation-augmented federated reinforcement learning for conflict-free edge–cloud stream scheduling. Sci Rep 16, 15158 (2026). https://doi.org/10.1038/s41598-026-45004-3

Anahtar kelimeler: kenar bulut zamanlaması, federatif pekiştirmeli öğrenme, Nesnelerin İnterneti akışı, çok ajanlı müzakere, gecikme azaltımı