Przestrzenno‑czasowy autoenkoder grafowy do automatycznej oceny ludzkich działań w 3D w immersyjnym szkoleniu VR dla archeologów

Ćwiczenie delikatnych czynności bez wychodzenia z laboratorium

Wiele zawodów wymaga precyzyjnych, bezpiecznych ruchów ciała, jednak praktyka w rzeczywistych warunkach może być ryzykowna, kosztowna lub trudna do powtórzenia. Badanie pokazuje, jak rzeczywistość wirtualna i technologia śledzenia ruchu mogą współpracować ze sztuczną inteligencją, by szkolić archeologów podczas kopania, skrobania i podnoszenia — wszystko wewnątrz cyfrowego stanowiska wykopaliskowego. Te same pomysły mogą w przyszłości pomóc szkolić chirurgów, pracowników fabryk czy sportowców, zamieniając ruchy ekspertów w wzorzec, któremu inni będą mogli się nauczyć równać.

Wejście na wirtualne stanowisko wykopaliskowe

Naukowcy zbudowali immersyjny system szkoleniowy, który umieszcza archeologa w wirtualnym obszarze wykopalisk przy użyciu zestawu Meta Quest 3. Jednocześnie kombinezon do rejestracji ruchu Xsens MVN Awinda, wyposażony w 17 małych czujników, śledzi, jak każda część ciała porusza się w trzech wymiarach. Zamiast jedynie odtwarzać ruchy, system przekształca każde nagranie w ustrukturyzowany opis ciała: głowa, tułów, ramiona i nogi stają się punktami w cyfrowym szkielecie, z wyszczególnionymi parametrami takimi jak prędkość, przyspieszenie i kąty stawowe w czasie. Ten bogaty strumień danych staje się surowcem dla zautomatyzowanego trenera.

Nauczanie komputera, jak wygląda „dobry ruch”

Aby przekształcić wiedzę ekspertów w standard szkoleniowy, zespół najpierw poprosił profesjonalnych archeologów o wykonanie typowych czynności łopatką, kilofem i łopatą. Te przykłady ekspertów służą jako „idealne” ruchy. Specjalistyczny model sztucznej inteligencji, nazwany AEforGraph, uczy się kompresować każdą sekwencję ruchu do zwartego wewnętrznego kodu, który zachowuje informacje o tym, jak stawy ciała poruszają się wspólnie w przestrzeni i czasie. Model ten zwraca większą uwagę na najbardziej krytyczne stawy — na przykład rękę i przedramię przy precyzyjnej pracy łopatką — tak aby bezpieczeństwo i precyzja w kluczowych obszarach miały większe znaczenie niż ruchy tła w innych częściach ciała.

Jak system wykrywa błędy

Gdy model opanuje te wewnętrzne kody ruchu, grupuje podobne ruchy w klastry, z których każdy skupiony jest wokół wzorcowego schematu odzwierciedlającego jedną idealną akcję, taką jak poprawne zamachnięcie łopatą. Kiedy uczestnik ćwiczenia wykonuje nowy ruch, system go koduje, znajduje najbliższy wzorzec odniesienia, a następnie rekonstruuje to, co faktycznie wykonał. Porównując rekonstruowaną wersję ruchu uczestnika z wersją idealną staw po stawie i w każdym momencie czasu, system może oszacować, jak bardzo każda część ciała odbiegała od formy eksperta. Te różnice można przełożyć na zrozumiałe informacje zwrotne, na przykład który segment ramienia poruszał się zbyt szybko lub pod niewłaściwym kątem.

Testy wirtualnego trenera

Zespół zarejestrował 509 rzeczywistych ruchów od ośmiu archeologów, aby wytrenować i ocenić system. Ich autoenkoder, AEforGraph, odtworzył dane ruchu z dużą dokładnością, zachowując ponad dziewięćdziesiąt procent oryginalnej zmienności przy jednoczesnym znacznym uproszczeniu reprezentacji. W porównaniu z powszechnie stosowanym modelem odniesienia lepiej uchwycił, jak ruchy rozwijają się w czasie. Przy sortowaniu ruchów na trzy grupy związane z narzędziami — łopatka, kilof i łopata — metoda półnadzorowanego grupowania poprawnie przypisała ponad 97 procent próbek. W testach na żywo w VR, przy pełnym działaniu sprzętu, system zazwyczaj zwracał informację zwrotną w około sekundę po każdym zarejestrowanym działaniu i niemal zawsze wybierał właściwy klaster dla wykonanego ruchu.

Dlaczego to ma znaczenie poza archeologią

Z perspektywy laika główne osiągnięcie to działający schemat cyfrowego trenera ruchu: rzeczywistość wirtualna zapewnia bezpieczne, realistyczne środowisko; czujniki ruchu rejestrują szczegółowe zachowanie ciała; a inteligentny model porównuje każde wykonanie z przykładami ekspertów, by dostarczyć ukierunkowaną informację zwrotną w czasie rzeczywistym. Chociaż studium przypadku skupia się na archeologach, ramy są ogólne. Przy odpowiednich przykładach i danych ruchu to samo podejście może pomóc dopracować zadania w medycynie, rehabilitacji, produkcji czy sporcie, kierując ludzi ku bezpieczniejszym i wydajniejszym ruchom bez konieczności obecności instruktora przy każdej powtórce.

Cytowanie: Pradisi, V., Marini, M.R., Castelli Gattinara Di Zubiena, F. et al. Spatio-temporal graph autoencoder for automated evaluation of human actions in 3D in immersive VR-based training for archaeologists. Sci Rep 16, 10568 (2026). https://doi.org/10.1038/s41598-026-46138-0

Słowa kluczowe: szkolenie w rzeczywistości wirtualnej, rejestracja ruchu, archeologia, analiza ruchu człowieka, grafowe sieci neuronowe