Haltungsbasierte verkörperte Interaktion für das digitale Dunhuang-Tanz-Erbe

Tanzen mit antiken Wandmalereien

Dunhuang-Tanz, inspiriert von den wirbelnden Gestalten auf den Wandmalereien der Mogao-Grotten in China, ist sowohl visuell beeindruckend als auch technisch anspruchsvoll. Für Besucher und Lernende ist der Übergang vom Bewundern dieser gemalten Körper an der Wand zum Nachvollziehen ihrer fließenden Linien im echten Leben oft schwer. Dieser Beitrag stellt ein kamera­basiertes interaktives System vor, das es jedem mit einem Laptop ermöglicht, in diese Wandmalerei‑Posen zu schlüpfen, in Echtzeit Rückmeldung dazu zu erhalten, wie nah sie an der Idealform sind, und ihre besten Momente sofort in Dunhuang‑typische digitale Poster zu verwandeln.

Von Höhlenmalereien zur lebendigen Bewegung

Immaterielles Kulturerbe wie Tanz ist schwerer zu bewahren als Statuen oder Wandmalereien, weil es in Körpern lebt, nicht in Stein. Obwohl die Höhlen von Dunhuang in visueller Hinsicht detailliert gescannt und archiviert wurden, fordern die meisten digitalen Projekte die Menschen immer noch auf zu schauen, nicht zu bewegen. Die Autorinnen und Autoren argumentieren, dass Lernende, um diese Tradition wirklich lebendig zu halten, verkörperte Praxis brauchen — das Ausprobieren der Posen, das unmittelbare Anpassen und das Spüren des Stils in den Muskeln. Sie machten sich daran, ein System zu entwickeln, das genau dies leistet und dabei nur auf consumer‑taugliche Hardware wie eine Standard‑Webcam und einen Laptop setzt, sodass Museen, Klassenzimmer und Kulturzentren es ohne teure Ausstattung nutzen können.

Dem Computer beibringen, eine Pose zu lesen

Zur Ausbildung des Systems sammelte das Team 23 Videos von Profi‑ und semi‑professionellen Dunhuang‑Tänzerinnen und -Tänzern, die fünf klassische Posen vorführen. Daraus extrahierten sie rund 1.230 Standbilder, die sowohl korrekte als auch unvollkommene Ausführungen jeder Pose zeigen. Menschliche Annotatorinnen und Annotatoren – darunter Tanzexpertinnen und -experten sowie Laien – kennzeichneten jedes Bild als „Gut“ oder „Schlecht“ anhand klarer Kriterien wie Armlage, Wirbelsäulenkrümmung und Symmetrie; zwischen den Ratern bestand erhebliche Übereinstimmung. Ein leichtgewichtiges Werkzeug von Google namens MediaPipe wandelte dann jedes Tänzerbild in 33 zentrale Körperpunkte um – etwa Schultern, Hüften, Ellbogen und Handgelenke – dargestellt als einfache 2D‑Koordinaten. So wurden reichhaltige Bilder in kompakte numerische Beschreibungen der Körperhaltung überführt.

Wie das System Ihre Bewegung beurteilt

Auf Basis dieser Skelettpunkte verglichen die Forschenden acht klassische Methoden des maschinellen Lernens, um herauszufinden, welche Posequalität am zuverlässigsten unterscheidet. Statt auf tiefe neuronale Netze zu setzen, die große Datensätze und leistungsfähige Grafikkarten benötigen, fokussierten sie sich auf Algorithmen, die schnell auf Alltagsrechnern laufen. Eine Methode namens Random Forest, die viele einfache Entscheidungsbäume kombiniert, erwies sich als klarer Sieger: Sie klassifizierte die Posequalität mit etwa 98,5 % richtig und übersah selten eine tatsächlich korrekte Pose. Außerdem bewältigte sie eine schwierigere Aufgabe: Sie erkannte nicht nur die Qualität, sondern auch, welche der fünf Posen die Nutzerinnen und Nutzer versuchten, und erreichte dabei über 97 % Genauigkeit, selbst wenn einige Haltungen einander sehr ähnlich waren.

Von der Bewegung zum persönlichen Dunhuang‑Poster

Ist das Modell einmal trainiert, wurde es in ein interaktives Programm mit vier Hauptstufen integriert. Zuerst wählt die Nutzerin bzw. der Nutzer eine Zielpose und optionale visuellen Effekte aus und stellt sich vor die Webcam. Das System verfolgt ihr bzw. sein Skelett in Echtzeit mit etwa 20–25 Bildern pro Sekunde und prüft fortlaufend, welche Pose ausgeführt wird und wie gut sie ausgeführt ist. Hält jemand die korrekte Pose ein paar Sekunden stabil, nimmt das System ein Frame auf, schneidet die Person vom Hintergrund aus und fügt ihre Figur in eine Dunhuang‑inspirierte Szene ein – komplett mit muralähnlichen Farben, Heiligenscheinen und Bändern, die an den Gelenken ausgerichtet sind. Nutzerinnen und Nutzer können dieses vertikale Poster ansehen und herunterladen, das ihre Live‑Bewegung mit der visuellen Sprache der antiken Höhlenkunst verschmilzt.

Warum das wichtig ist für das Bewahren von Traditionen

Für Nicht‑Spezialistinnen und -Spezialisten ist die zentrale Erkenntnis, dass das Bewahren einer Tanztradition nicht nur darin besteht, Videos aufzuzeichnen; es geht darum, Menschen einzuladen, diese Bewegungen selbst zu verkörpern. Diese Arbeit zeigt, dass relativ einfache, transparente Algorithmen und ein bescheidener Datensatz schnelle, genaue Rückmeldungen liefern können, die sich reaktionsschnell genug anfühlen, um Lernen zu leiten. Indem korrekte Posen in teilbare Dunhuang‑Stil‑Poster verwandelt werden, macht das System Übung zu einer spielerischen kulturellen Erfahrung statt zu einer Prüfung. Die Autorinnen und Autoren sehen dies als Schritt hin zu einer „performativen Bewahrung“: interaktive Technologie, die dazu beiträgt, dass Erbe nicht nur betrachtet und archiviert, sondern auch nachgespielt und gefühlt wird, sodass die Figuren der antiken Wandmalereien durch die Körper heutiger Lernender weiter „tanzen“ können.

Zitation: Fu, Q., Zhou, Y. & Ding, X. Pose-based embodied interaction for digital Dunhuang dance heritage. npj Herit. Sci. 14, 223 (2026). https://doi.org/10.1038/s40494-026-02470-2

Schlüsselwörter: Dunhuang-Tanz, immaterielles Kulturerbe, Haltungserkennung, interaktives Lernen, Kulturerbetechnologie