DeepKoopFormer: zaman serisi tahmini için Koopman ile güçlendirilmiş transformer tabanlı bir mimari

Daha akıllı tahminlerin önemi

Hava ve enerji planlamasından finansal piyasalara kadar, en büyük kararlarımızın birçoğu zaman içinde nasıl değişeceğini öngörmeye dayanır. Bu "zaman serileri"—rüzgar hızı, elektrik üretimi veya kripto fiyatları gibi ölçüm akışları—daha uzun, daha gürültülü ve daha karmaşık hale geliyor. Transformer adı verilen modern yapay zeka araçları bu verileri işleyebiliyor, ancak genellikle kara kutu gibi davranıyorlar ve ileriye dönük tahminler uzadıkça kararsızlaşabiliyorlar. Bu makale, Transformer'ların öngörü gücünü korurken davranışlarını uzun vadede daha kararlı, yorumlanabilir ve güvenilir kılmak için matematiksel yapı ekleyen DeepKoopFormer adlı bir tahmin yöntemini tanıtıyor.

Güçlü modelleri dengeleyen yeni bir yol

Yazarlar günümüz yapay zekâsında tanıdık bir fikirden başlıyor: ham zaman serilerini zengin bir iç temsile dönüştürmek için bir Transformer kullanmak. DeepKoopFormer daha sonra dinamik sistemler literatüründen Koopman operatörü kavramından esinlenen dikkatle tasarlanmış bir ara katman ekliyor. Modelin tamamen karmaşık ve tümüyle doğrusal olmayan bir şekilde evrilmesine izin vermek yerine, bu ara katman gizli bir uzayda basit bir lineer dönüşümle iç durumu ilerletir. Kritik olarak, bu dönüşüm etkisini zamanla kontrolsüz biçimde büyütmek yerine kademeli olarak azaltacak şekilde inşa edilir; bu da matematiksel olarak uzun vadeli tahminlerin patlamayacağını veya düzensiz salınımlar göstermeyeceğini garanti eder.

Model dengesini nasıl koruyor

Bu kararlılığı sağlamak için DeepKoopFormer lineer adımı birkaç yönden sınırlıyor. Dönüşüm üç parçaya ayrılmıştır: etrafına sarılmış iki ortogonal matris (uzunluk ve açıları koruyan) ile birbiriyle çevrelenmiş ve tümü birden küçük olacak şekilde zorlanan ölçek faktörlerinden oluşan bir diyagonal matris. Bu, her güncellemede gizli durumun yükseltilmek yerine nazikçe daraltıldığı anlamına gelir. İkinci bir bileşen olan Lyapunov düzenlemesi, gizli durumun enerjisi bir adımdan diğerine arttığında eğitim sırasında bir ceza ekler. Bu mekanizmaların birleşimi, ara adım öncesi Transformer ve sonrasındaki lineer kodlayıcı ifade gücünü korurken iç dinamiklerin sakin ve iyi davranmasını sağlar. Modelin zengin desenleri öğrenme kapasitesi ile kararlılığı ayrı ayarlarla kontrol edilir; böylece kullanıcılar birini diğerini bozmak zorunda kalmadan ince ayar yapabilir.

Yöntemi teste sokmak

Araştırmacılar DeepKoopFormer’ı hem kontrollü hem de gerçek dünya problemlerinde değerlendiriyor. Önce küçük değişikliklerin çok farklı geleceklere yol açabildiği klasik kaotik sistemler (örneğin Lorenz çekici) üzerinde ve gerçek ölçümleri taklit etmek için rastgele gürültü ekleyerek test ediyorlar. Farklı Transformer omurgalarında, Koopman ile güçlendirilmiş versiyonlar kısa vadeli birçok tahmin boyunca gerçek yörüngeleri yakından izlerken içsel davranışlarını stabil tutuyor. Yazarlar daha sonra zorlu gerçek veri setlerine geçiyor: Almanya üzerindeki iklim projeksiyonları ve yeniden-analiz (rüzgar hızı ve yüzey basıncı), kripto para fiyatları ve İspanya’daki birden fazla kaynaktan elektrik üretimi. Bu durumlarda DeepKoopFormer varyantları, standart bir uzun-kısa süreli bellek (LSTM) ağı ve daha basit lineer karşılaştırmalarla; giriş pencere uzunluğu, tahmin ufku ve model boyutu gibi birçok seçenek üzerinden kıyaslanıyor.

Deneyler ne gösteriyor

İklim, finansal ve enerji görevlerinde, Koopman ile zenginleştirilmiş Transformer modelleri genelde LSTM karşılaştırmasına kıyasla daha düşük tahmin hataları ve daha kararlı davranış sergiliyor; özellikle çok adımlı tahminlerde veya yüksek boyutlu verilerle çalışırken. Almanya üzerindeki rüzgar ve basınç ile elektrik üretimi görevlerinde, DeepKoopFormer’ın PatchTST ve Informer versiyonları genellikle en iyi performansı gösteriyor; hem düzgün eğilimleri hem de hızlı dalgalanmaları güvenilir şekilde yakalıyorlar. Altta yatan desenlerin neredeyse tamamen doğrusal olduğu bazı özel durumlarda çok basit bir lineer yöntem test doğruluğunda yine de öne çıkabiliyor; bu da tek bir modelin her durumda evrensel olarak en iyi olmadığını vurguluyor. Ancak Koopman tabanlı tasarımlar, tahmin ufku büyüdükçe daha düzgün hata desenleri gösterme eğiliminde; bu da uzun vadeli belirsizliğin daha iyi kontrol edildiğini ve eğitim verilerindeki tuhaf ayrıntılara fazla uyma eğiliminin azaldığını gösteriyor.

Bu yaklaşım neden ümit verici

Sonuç olarak DeepKoopFormer, derin öğrenmenin esnekliğini klasik dinamik sistemler teorisinin garantileriyle birleştirmenin mümkün olduğunu gösteriyor. Standart bir Transformer hattına yapılandırılmış, kararlı bir lineer adım ekleyerek yazarlar doğru, gürültüye dayanıklı ve matematiksel olarak daha kolay yorumlanabilen tahminler elde ediyor. Uzun vadeli tahminlere güvenmenin ve tahminlerin zaman içindeki davranışını anlamanın önemli olduğu iklim bilimi, enerji sistemleri veya finans gibi alanlarda çalışan uygulayıcılar için bu çerçeve, güçlü sinirsel modelleri biraz daha fazla güvenilir kılma ve bunların neden böyle davrandığını anlama yolunu sunuyor.

Atıf: Forootani, A., Khosravi, M. & Barati, M. DeepKoopFormer: a Koopman enhanced transformer based architecture for time series forecasting. npj Artif. Intell. 2, 35 (2026). https://doi.org/10.1038/s44387-026-00085-3

Anahtar kelimeler: zaman serisi tahmini, transformer modelleri, Koopman operatörü, kararlı dinamikler, iklim ve enerji verileri