DMARS_WGO: deneyime dayalı derin pekiştirmeli hibrit meta-sezgisel zeki uyarlanabilir optimizasyon

Karmaşık Problemler İçin Daha Akıllı Arama

Daha hafif uçak parçaları tasarlamaktan makine öğrenmesi modellerini ayarlamaya kadar, birçok modern zorluk aynı soruya indirgenir: çok büyük olasılık uzaylarında gerçekten iyi bir çözümü nasıl buluruz? Bu makale, DMARS_WGO adını taşıyan, keşfederken deneyimden öğrenen yeni bir tür "akıllı" arama motorunu tanıtıyor; bu sistem mühendislerin ve bilim insanlarının daha iyi tasarımlara daha hızlı ve daha güvenilir şekilde ulaşmasına yardımcı oluyor.

Neden Geleneksel Yöntemler Yetersiz Kalıyor

Gradyan inişi ve doğrusal programlama gibi geleneksel optimizasyon teknikleri, olasılıkların yüzeyi düzgün ve iyi davranışlı olduğunda iyi çalışır. Gerçek mühendislik problemleri nadiren böyle görünür. Genellikle birçok tepe ve çukur, ani uçurumlar ve yüksek boyutlu dönüşlerle doludur. Bu tür engebeli arazilerde klasik yöntemler kolayca yakın bir tepeye takılıp en derin vadinin—gerçek en iyi çözümün—kaçırılmasına neden olabilir. Son birkaç on yılda araştırmacılar, doğadan, fizikten ve insan davranışından ilham alan sözde meta-sezgisellere yöneldi. Bu yöntemler, aday çözümler sürülerini peyzajda hareket ettirir; kuş sürülerini, avcıların avlanmasını veya malzemelerin soğumasını taklit eder. Güçlü olmalarına rağmen bu tekniklerin birçoğu hâlâ iki rekabet eden ihtiyacı dengelemekte zorlanmaktadır: yeni bölgeyi genişçe keşfetme ve umut veren bölgeleri dikkatli şekilde sömürme.

İki Hayvan Metaforu, Bir Temel Fikir

Yazarlar iki son dönemin hayvan esinli optimizatörüne dayanıyor: çekici noktalarda ince ayarda iyi olan (sömürme) Walrus Optimizer ve geniş, çevik dolaşmada (keşif) üstün olan Gazelle Optimization Algorithm. Önceki çalışmalar bu davranışları hibrit yöntemlerde birleştirmişti, ancak karışım büyük ölçüde sabit kodluydu: ne zaman dolaşıp ne zaman odaklanılacağını sabit formüller veya zaman çizelgeleri belirliyordu. Bu katılık, algoritmanın hâlâ çok erken sonuca varmasına veya çok uzun süre amaçsız dolaşmasına yol açabiliyordu, özellikle çok karmaşık veya yüksek boyutlu problemler söz konusu olduğunda. Yeni çalışma, bu mors–gazel hibritini sadece hareket eden değil, aynı zamanda aramadan gelen geri bildirime dayanarak nasıl hareket edileceğini öğrenen bir sistem olarak yeniden tasarlıyor.

Sürüye Öğrenme Eklemek

Önerilen ilk yöntem AIRE_WGO, Q-öğrenme adı verilen bir öğrenme mekanizması tanıtıyor. Sabit bir senaryoyu takip etmek yerine algoritma, aday çözümler popülasyonundan gelen basit sinyalleri gözlemler: ne kadar yaygın oldukları (çeşitlilik) ve en iyi çözümün ne kadar hızlı iyileştiği. Bu gözlemler aramanın mevcut "durumunu" tanımlar. Her durum için Q-öğrenme modülü, gazel-tarzı keşfi mi yoksa mors-tarzı sömürmeyi mi tercih etmenin daha iyi olduğunu kademeli olarak keşfeder. Daha iyi çözümlere yol açan başarılı kararlar ödüllendirilir, böylece sistem benzer durumlarda bunları tekrarlama eğiliminde olur. AIRE_WGO ayrıca iç adım büyüklüklerini ayarlar ve ilerleme durduğunda kontrollü rastgele mutasyonlar ekleyerek çıkmazlardan kaçmasına yardımcı olur.

Daha Sert Araziler İçin Çift Beyin

Makalenin merkezinde DMARS_WGO yer alır; bu yöntem optimizatöre iki tamamlayıcı öğrenme "beyni" vererek bir adım daha ileri gider. Birincisi, AIRE_WGO’da kullanılan ve durumu birkaç kaba kategoriyle özetlemek mümkün olduğunda basit ve hızlı olan tablo tabanlı Q-öğrenmedir. Diğeri ise çeşitlilik, iyileşme hızı ve durgunluğun iyi kararlara nasıl bağlandığına dair daha ince örüntüleri yakalayabilen küçük bir sinir ağı olan Derin Q-Ağıdır. Her yinelemede her iki öğrenen de ne yapılacağını önerir—gazel-benzeri dolaşmaya mı, mors-benzeri odaklanmaya mı yoksa her ikisinin karışımına mı yönelinmeli. Mevcut çeşitlilik, son ilerleme ve sıkışma işaretlerinden hesaplanan bir harmanlama katsayısı, onların önerilerini tek bir eyleme düzgünce ağırlıklandırır. Bilgi iki yöne de akar: basit öğrenenden gelen deneyimler sinir ağının eğitim verisini zenginleştirirken, ağdan damıtılan bilgi periyodik olarak daha basit öğrenenin karar tablosunu rafine eder. Bu işbirlikçi düzen, optimizatörün davranışını ani geçişler yerine sürekli olarak uyarlamasına yardımcı olur.

Yöntemi Teste Sokmak

Bu ekstra zekânın gerçekten işe yarayıp yaramadığını görmek için yazarlar DMARS_WGO’yu iki yaygın test setinde (CEC 2017 ve CEC 2022) ve yaylar, basınç kapları, dişli düzenleri ve taşıyıcı yapılar dahil olmak üzere altı gerçek mühendislik tasarım görevinde kıyaslıyor. Bu problemler kasıtlı olarak yanıltıcı çok sayıda yerel optimum ve sıkı tasarım kısıtları içerir. Onlarca test fonksiyonu boyunca DMARS_WGO genellikle en iyi ortalama performansı elde ediyor ve çalışmadan çalışmaya çok kararlı sonuçlar gösteriyor. İstatistiksel testler, dokuz diğer gelişmiş optimizatöre karşı avantajlarının şansa bağlı olma olasılığının düşük olduğunu doğruluyor. Önemli olarak, bu iyileştirilmiş performans maliyet açısından engelleyici değil: bir sinir ağını eğitmek biraz ek yük getiriyor olsa da, genel çaba hâlâ aday tasarımların değerlendirilmesi tarafından domine ediliyor; tıpkı standart sürü yöntemlerinde olduğu gibi.

Pratikte Anlamı Nedir

Uzman olmayan bir kişi için ana sonuç şudur: DMARS_WGO, zamanını yeni bölgeleri keşfetme ile umut veren buluntuları ayrıntılı inceleme arasında nasıl paylaştıracağını anında öğrenen bir arama ekibi gibi davranır. İlerleme ve durgunluk işaretlerini dikkatle izleyerek ve iki farklı öğrenme modülünün hareketlerini yönlendirmesine izin vererek algoritma, zor ve yüksek boyutlu uzaylarda yüksek kaliteli tasarımlara daha güvenilir şekilde yaklaşabilir. Bu da onu, mekanik bileşenlerden makine öğrenmesi modellerine kadar karmaşık sistemleri otomatik olarak ayarlaması gereken ve her arama adımını bir insan uzmanın mikro-yönetimine ihtiyaç duymadan gerçekleştirebilen geleceğin mühendislik araçları için çekici bir yapı taşına dönüştürür.

Atıf: Yousif, N.R., El-Gendy, E.M. & Haikal, A.Y. DMARS_WGO: a deep reinforcement-driven hybrid metaheuristic for intelligent adaptive optimization. Sci Rep 16, 13156 (2026). https://doi.org/10.1038/s41598-026-46134-4

Anahtar kelimeler: meta-sezgisel optimizasyon, pekiştirmeli öğrenme, sürü zekası, mühendislik tasarımı, derin Q ağları