Arkeologlar için sürükleyici VR tabanlı eğitimde 3B insan hareketlerinin otomatik değerlendirilmesi için uzay-zamansal grafik otoenkoderi

Laboratuvardan Çıkmadan Hassas İşleri Pratik Etmek

Birçok meslek, hassas ve güvenli vücut hareketlerine bağlıdır; ancak gerçek dünyada pratik yapmak riskli, maliyetli veya tekrarı zor olabilir. Bu çalışma, sanal gerçeklik ve hareket izleme teknolojisinin yapay zekâ ile nasıl birleşerek arkeologlara dijital bir kazı alanı içinde kazma, kazıma ve kaldırma işlerindeyken koçluk yapabileceğini gösteriyor. Aynı fikir bir gün cerrahlar, fabrika çalışanları veya sporcular için de uzman hareketini herkesin uymayı öğrenebileceği bir standarda dönüştürerek eğitimde kullanılabilir.

Sanal Bir Kazı Alanına Girmek

Araştırmacılar, bir arkeoloğu Meta Quest 3 başlığı kullanarak sanal bir kazı alanına yerleştiren sürükleyici bir eğitim sistemi geliştirdiler. Aynı zamanda, 17 küçük sensörle donatılmış Xsens MVN Awinda hareket yakalama tulumu vücudun her bölümünün üç boyutta nasıl hareket ettiğini izliyor. Hareketleri sadece yeniden oynatmak yerine, sistem her kaydı bedenin yapılandırılmış bir tanımına dönüştürüyor: baş, gövde, kollar ve bacaklar dijital bir iskelette noktalar haline geliyor; her biri zaman içinde hız, ivme ve eklem açıları gibi ayrıntılı ölçümler taşıyor. Bu zengin veri akışı, otomatik bir koç için hammaddeye dönüşüyor.

Bilgisayara «İyi Hareket»in Nasıl Göründüğünü Öğretmek

Uzman bilgilerini bir eğitim standardına dönüştürmek için ekip önce profesyonel arkeologlardan mala, kazma ve kürekle tipik görevleri yapmalarını istedi. Bu uzman örnekleri «ideal» hareketler olarak hizmet ediyor. AEforGraph adı verilen özel bir yapay zekâ modeli, her hareket dizisini zaman ve mekânda eklemlerin nasıl birlikte hareket ettiğini koruyan sıkıştırılmış bir iç koda dönüştürmeyi öğreniyor. Bu model, ince mala işi gibi kritik hareketlerde el ve önkol gibi en önemli eklemlere daha fazla dikkat ediyor; böylece güvenlik ve hassasiyet temel alanlarda arka plan hareketlerinden daha ağır basıyor.

Sistemin Hataları Nasıl Tespit Ettiği

Model bu iç hareket kodlarını öğrendikten sonra benzer hareketleri kümelere ayırıyor; her küme doğru bir kürek salınımı gibi bir ideal eylemi yansıtan referans bir modele dayanıyor. Bir eğitimci yeni bir hareket yaptığında, sistem onu kodluyor, en yakın referans deseni buluyor ve ardından eğitmenin gerçekte yaptığını yeniden yapılandırıyor. Eğitmenin yeniden yapılandırmasını ideal olanla eklem eklem ve an an karşılaştırarak sistem, her bir vücut parçasının uzman formundan ne kadar saptığını tahmin edebiliyor. Bu farklar, hangi kol bölümünün çok hızlı hareket ettiği veya yanlış açıyla hareket ettiği gibi anlaşılır geri bildirimlere dönüştürülebilir.

Sanal Koçu Teste Sokmak

Ekip sistemi eğitmek ve değerlendirmek için sekiz arkeologdan 509 gerçek hareket kaydetti. Otoenkoderleri AEforGraph, orijinal varyasyonun yüzde doksanından fazlasını korurken verinin karmaşıklığını büyük ölçüde azaltarak hareket verilerini çok hassas şekilde yeniden üretti. İyi bilinen bir temel modelle karşılaştırıldığında, hareketlerin zaman içinde nasıl geliştiğini yakalamada daha başarılı oldu. Mala, kazma ve kürekle ilgili üç alet grubuna yarı denetimli kümeleme yöntemiyle ayırdıklarında örneklerin yüzde 97’den fazlasını doğru atadı. Tüm donanım çalışırken canlı VR testlerinde sistem genellikle her kaydedilen eylemden sonra yaklaşık bir saniye içinde geri bildirim verdi ve neredeyse her zaman gerçekleştirilen hareket için doğru kümeyi seçti.

Arkeolojinin Ötesinde Neden Önemli

Bir sıradan gözlemci açısından ana başarı, dijital bir hareket koçu için çalışan bir plan sunmak: sanal gerçeklik güvenli ve gerçekçi bir ortam sağlıyor; hareket yakalama sensörleri ayrıntılı beden davranışını kaydediyor; ve akıllı bir model her denemeyi uzman örneklerle karşılaştırıp hedefe yönelik geri bildirimleri gerçek zamanlı olarak iletebiliyor. Vaka çalışması arkeologlara odaklansa da bu çerçeve genel nitelikte. Uygun örnekler ve hareket verisiyle aynı yaklaşım tıp, rehabilitasyon, üretim veya sporda görevleri geliştirmeye yardımcı olabilir; her tekrarda bir eğitmene ihtiyaç duymadan insanları daha güvenli ve verimli hareketlere yönlendirebilir.

Atıf: Pradisi, V., Marini, M.R., Castelli Gattinara Di Zubiena, F. et al. Spatio-temporal graph autoencoder for automated evaluation of human actions in 3D in immersive VR-based training for archaeologists. Sci Rep 16, 10568 (2026). https://doi.org/10.1038/s41598-026-46138-0

Anahtar kelimeler: sanal gerçeklik eğitimi, hareket yakalama, arkeoloji, insan hareketi analizi, graf sinir ağları