Interakcja ucieleśniona oparta na pozy dla cyfrowego dziedzictwa tańca z Dunhuangu

Taniec z pradawnych fresków

Taniec z Dunhuangu, zainspirowany wirującymi postaciami na freskach w jaskiniach Mogao w Chinach, jest zarówno efektowny wizualnie, jak i technicznie wymagający. Dla odwiedzających i uczniów trudno bywa przejść od podziwiania namalowanych ciał na ścianie do odwzorowania ich płynnych linii w rzeczywistości. Artykuł przedstawia system interaktywny oparty na kamerze, który pozwala każdemu z laptopem wejść w te postaci z fresków, otrzymać w czasie rzeczywistym wskazówki, jak blisko jest do wzorcowej formy, i natychmiast przemienić swoje najlepsze ujęcia w cyfrowe plakaty w stylu Dunhuangu.

Od malowideł jaskiniowych do żywego ruchu

Niematerialne dziedzictwo kulturowe, takie jak taniec, trudniej zachować niż rzeźby czy freski, ponieważ żyje ono w ciałach, a nie w kamieniu. Chociaż jaskinie Dunhuangu zostały zeskanowane i zarchiwizowane w wyrafinowanym wizualnym detalu, większość projektów cyfrowych wciąż prosi ludzi o patrzenie, a nie o ruch. Autorzy argumentują, że aby naprawdę utrzymać tę tradycję przy życiu, uczniowie potrzebują praktyki ucieleśnionej — próbowania póz, korekt w trakcie i odczuwania stylu w mięśniach. Postanowili zbudować system robiący dokładnie to, używając jedynie sprzętu konsumenckiego, takiego jak standardowa kamera internetowa i laptop, aby muzea, klasy i ośrodki kultury mogły go przyjąć bez drogich urządzeń.

Nauczanie komputera czytania pozy

Aby wytrenować system, zespół zebrał 23 filmy z udziałem profesjonalnych i półprofesjonalnych tancerzy Dunhuangu prezentujących pięć klasycznych póz. Z nich wyodrębnili około 1230 klatek, które uchwyciły zarówno poprawne, jak i nieidealne wersje każdej pozy. Ludzcy anotatorzy — w tym eksperci tańca i osoby bez specjalistycznego wykształcenia — oznaczyli każdą klatkę jako „Dobra” lub „Zła” na podstawie jasnych kryteriów, takich jak wysokość ramion, krzywizna tułowia i symetria, przy znacznym stopniu zgodności między oceniającymi. Lekki zestaw narzędzi od Google o nazwie MediaPipe zamienił następnie obraz każdego tancerza w 33 kluczowe punkty ciała — takie jak ramiona, biodra, łokcie i nadgarstki — reprezentowane jako proste współrzędne 2D. To przekształciło bogate obrazy w zwarte, numeryczne opisy sylwetki.

Jak system ocenia twój ruch

Na podstawie tych punktów szkieletowych badacze porównali osiem klasycznych metod uczenia maszynowego, aby sprawdzić, która najlepiej rozróżnia dobre i złe pozy. Zamiast głębokich sieci neuronowych, które wymagają ogromnych zbiorów danych i wydajnych kart graficznych, skupili się na algorytmach działających szybko na codziennych komputerach. Metoda zwana Random Forest, łącząca wiele prostych drzew decyzyjnych, okazała się wyraźnym zwycięzcą, poprawnie klasyfikując jakość pozy w około 98,5% przypadków i rzadko pomijając faktycznie poprawne ujęcie. Poradziła sobie też z trudniejszym zadaniem: rozpoznawaniem nie tylko jakości, ale też, którą z pięciu póz użytkownik wykonuje, osiągając ponad 97% dokładności nawet wtedy, gdy niektóre postawy były bardzo podobne.

Od ruchu do osobistego plakatu Dunhuangu

Po wytrenowaniu model został osadzony w interaktywnym programie składającym się z czterech głównych etapów. Najpierw użytkownik wybiera docelową pozę i opcjonalne efekty wizualne, a następnie stoi przed kamerą. System śledzi ich szkielet w czasie rzeczywistym w tempie około 20–25 klatek na sekundę, stale sprawdzając zarówno którą pozę wykonują, jak i jak dobrze ją wykonują. Gdy ktoś utrzymuje poprawną pozę przez kilka sekund, system przechwytuje klatkę, wycina postać z tła i kompozytuje ją w scenie inspirowanej Dunhuangiem — z kolorami w stylu fresków, aureolami i wstęgami dopasowanymi do stawów. Użytkownicy mogą oglądać i pobierać ten pionowy plakat, który łączy ich żywy ruch z wizualnym językiem pradawnej sztuki jaskiniowej.

Dlaczego to ma znaczenie dla zachowania tradycji

Dla osób niebędących specjalistami kluczowe przesłanie jest takie, że zachowanie tradycji tanecznej to nie tylko nagrywanie filmów; to zapraszanie ludzi do ucieleśnienia tych ruchów osobiście. Praca ta pokazuje, że stosunkowo proste, przejrzyste algorytmy i skromny zbiór danych mogą dostarczyć szybkiej, dokładnej informacji zwrotnej, która jest wystarczająco responsywna, by wspierać naukę. Przekształcając poprawne pozy w łatwe do udostępnienia plakaty w stylu Dunhuangu, system zamienia ćwiczenie w zabawne doświadczenie kulturowe, a nie egzamin. Autorzy postrzegają to jako krok w stronę „performacyjnej ochrony”: używania technologii interaktywnej, aby dziedzictwo nie tylko było oglądane i archiwizowane, ale także odtwarzane i odczuwane, pomagając postaciom z pradawnych fresków nadal „tańczyć” przez ciała dzisiejszych uczniów.

Cytowanie: Fu, Q., Zhou, Y. & Ding, X. Pose-based embodied interaction for digital Dunhuang dance heritage. npj Herit. Sci. 14, 223 (2026). https://doi.org/10.1038/s40494-026-02470-2

Słowa kluczowe: Taniec z Dunhuangu, niematerialne dziedzictwo kulturowe, rozpoznawanie pozy, interaktywne uczenie się, technologia dziedzictwa kulturowego