Yapay zeka teknolojisi altında kayak hareketi tanımada LSTM-CNN uygulaması

Pistlerde Daha Akıllı Koçluk

Kayakçılar, antrenörler ve izleyiciler, bir carving ya da atlayıştaki milisaniyelik olayları anlamak için giderek daha fazla videoya başvuruyor. Ancak gerçek dünyada kar sıçramaları, ağaçlar, değişen ışık koşulları ve kalabalık pistler, bilgisayarların kayakçının ne yaptığını güvenilir biçimde tanımasını zorlaştırıyor. Bu makale, sıradan videolardan bile zorlu açık hava koşullarında yüksek doğrulukla kayak tekniklerini otomatik olarak okuyabilen yeni bir yapay zeka sistemi sunuyor. Bu tür bir teknoloji, bir gün gerçek zamanlı koçluk araçlarını, daha güvenli antrenmanları ve kış sporları için daha derin performans analizlerini mümkün kılabilir.

Bilgisayarlara Kayak Görmeyi Öğretmek Neden Zor

Kayak, analiz edilmesi zor bir spor çünkü hareketler hızlı, üç boyutlu ve sık sık kalın giysiler veya kayakçının kendi vücudu tarafından kısmen gizleniyor. Aynı zamanda açık hava sahneleri ağaçlar, kar yığınları, güçlü yansımalar ve değişken hava gibi dikkat dağıtıcı unsurlarla dolu. Önceki video tabanlı sistemler ya tek karedeki statik görünüşe fazla odaklandı ya da hareketlerin zaman içinde nasıl geliştiğini düzgün takip edemedi. Sonuç olarak benzer hareketleri karıştırma eğilimindeydiler, kötü görüş koşullarında zorlandılar ve yeni sporcular veya yeni pist koşullarıyla karşılaştıklarında dayanıklılık gösteremediler.

Kayak Hareketine İki Gözle Bakmak

Yazarlar, kayak videolarını aynı anda birbirini tamamlayan iki şekilde izleyen bir model tasarlıyor. Bir “göz” normal renkli karelere bakar ve kayakçı ile çevrenin nasıl göründüğünü yakalar. Diğer “göz” ise piksellerin bir kareden diğerine nasıl kaydığını izleyerek hareket üzerine odaklanır; bu teknik optik akış olarak bilinir. Bu hareket alanından sistem, gerçekten aktif bölgeleri—kayaklar, bacaklar ve gövde—vurgulayan bir belirginlik haritası oluşturur ve ağaçlar ile kar setleri gibi statik arka planı göz ardı eder. Her iki akım da uzaysal ve kısa zaman aralıkları boyunca desenleri öğrenen 3B evrişim ağından geçer ve her video segmentini görünüş ve hareketin kompakt imzalarına indirger.

Gördüklerini ve Nasıl Hareket Ettiklerini Harmanlama

İki bilgi akımını basitçe üst üste koymak veya ortalamak yerine model, analiz ettiği her klip için hangisine ne kadar ağırlık verileceğini öğrenir. Kayakların ayırt edici bir şekil oluşturduğu bir plow brake gibi bazı manevralarda görünüş ipuçları daha önemli olur. Düzgün paralel dönüşlerde ise hareketin ritmi ve yönü daha belirleyicidir. Öğrenilebilir bir füzyon modülü bu katkıları otomatik olarak ayarlar, iki özellik setini normalize eder ve daima toplamı bire eşit olan eğitilmiş ağırlıklarla birleştirir. Bu uyarlanabilir karışım, sistemin o anki hareket için en bilgilendirici görsel kanıta odaklanmasını sağlar ve tanımayı çeşitli kayak stilleri ve sahneler arasında daha doğru ve güvenilir hale getirir.

Her Dönüşün Tam Hikayesini Okumak

Kayakta bir hareketi tanımak yalnızca tek bir pozla ilgili değildir; bir dizinin baştan sona nasıl geliştiğiyle ilgilidir. Bunu yakalamak için füze edilen özellikler hem ileriye hem de geriye doğru zaman içinde bakan çift yönlü bir geri beslemeli ağa verilir. Model yalnızca geçmiş karelere dayanmak yerine, kayakçının ne yaptığını anlamak için gelecek karelerden gelen ipuçlarını da kullanır. Bu, anlık görüntüde benzer görünen ama zamanlama ve koordinasyonda farklılık gösteren hareketleri ayırt etmesine yardımcı olur. Gerçek dünya kayak videolarından oluşan geniş bir koleksiyon olan SkiTB veri seti üzerindeki testler, yeni sistemin çeşitli yerleşik yöntemleri geride bıraktığını; yaklaşık %93 doğruluk ve F1 skoruna ulaştığını gösterir. Farklı hava koşullarında, daha önce görmediği sporcularda ve yapay gürültü içeren videolarda bile doğruluğu %85’in üzerinde kalır.

Kayakçılar ve Spor Teknolojisi İçin Anlamı

Odaklanmış hareket algısı, görsel ipuçlarının uyarlanabilir harmanlanması ve zaman farkındalığına sahip hareket okumasını birleştirerek önerilen model, karışık ve değişken ortamlarda bile bir kayakçının dönüş, fren yapma veya zıplama gibi yaptığını güvenilir biçimde söyleyebilir. Uzman olmayanlar için ana çıkarım, sistemin sadece kareleri saymadığı; nerelere bakacağını, neyin en önemli olduğunu ve tam bir hareket döngüsünün nasıl gerçekleştiğini öğrendiğidir. Bu yaklaşım, nesnel geri bildirim sağlayan zeki antrenman asistanlarının, riskli desenleri tespit ederek yaralanmaları önlemeye yardımcı olan sistemlerin ve daha zengin yayın analizlerinin temelini oluşturabilir. Yazarlar aşırı hava koşulları ve çok kısa hava hareketlerinin hâlâ zorluk teşkil ettiğini not etseler de, çerçeveleri kayakta ve potansiyel olarak birçok diğer açık hava sporunda geleceğin akıllı koçluk araçları için sağlam bir temel sunuyor.

Atıf: Zhang, W., Xu, L. & Wang, L. Application of LSTM-CNN in skiing action recognition under artificial intelligence technology. Sci Rep 16, 11547 (2026). https://doi.org/10.1038/s41598-026-42324-2

Anahtar kelimeler: kayak hareketi tanıma, spor video analizi, derin öğrenme, optik akış, sporcu performansı