WCT-Net: gemeinsame Restaurierung von Grabmalereien basierend auf Wavelet-Faltung und einem kollaborativen Transformer-Self-Attention-Netzwerk

Warum das Retten alter Wandmalereien neue Werkzeuge braucht

In ganz China befinden sich in antiken Gräbern Wandmalereien, die zerbröseln, Risse zeigen und an den Rändern abblättern. Diese Wandbilder halten Szenen des königlichen Lebens, Glaubensvorstellungen und künstlerische Ausdrucksformen fest, die uns nicht mehr unmittelbar zugänglich sind. Viele Fragmente sind jedoch so stark beschädigt, dass selbst Expertinnen und Experten nur schwer rekonstruieren können, wie sie einst aussahen. Diese Studie stellt ein neues künstliches Intelligenzsystem vor, WCT-Net, das entwickelt wurde, um diese beschädigten Bilder digital zu „flicken“ und so Konservatorinnen und Konservatoren sicherere Hinweise sowie Forschenden und der Allgemeinheit reichhaltigere Visualisierungen zu bieten.

Die versteckten Probleme in beschädigten Wandmalereien

Grabmalereien sind doppelten Gefahren ausgesetzt. Im Laufe der Jahrhunderte dringt Feuchtigkeit durch Boden und Gestein, transportiert Salze, die im Putz kristallisieren. Das schwächt die Schichten unter der Farbe, wodurch Abschnitte sich lösen, Risse entstehen und Teile abfallen. Häufig bleibt nur ein kleines Fragment übrig, das zwei Schadensarten vereint: Die äußeren Ränder fehlen, wodurch die Gesamtkomposition unvollständig ist, und das Innere ist von Ausbleichung, Abblätterung und feinen Rissen gezeichnet. Traditionelle Restaurierung am Objekt basiert auf dem Zusammenfügen von Fragmenten und sorgfältigem Wiederaufkleben, doch bei großflächigem Verlust sind Vermutungen fehleranfällig und können sogar neuen Schaden verursachen. Digitale Restaurierung bietet eine reversible, berührungsfreie Alternative — vorausgesetzt, die Computer können sowohl glaubwürdige fehlende Strukturen ergänzen als auch erhaltene Details treu bewahren.

Warum frühere digitale Lösungen nicht ausreichen

Frühere computergestützte Methoden lernten meist aus unbeschädigten Teilen desselben Bildes. Manche übertrugen benachbarte Farben und Kanten in Lücken; andere kopierten passende Patches aus intakten Regionen. Diese Werkzeuge füllen saubere, lochartige Defekte, scheitern jedoch, wenn ganze Ränder fehlen oder das Motiv aus sehr wenig Kontext erschlossen werden muss. Neuere Deep-Learning-Ansätze, darunter Faltungsnetze und Generative Adversarial Networks, verbesserten die Realitätsnähe, stehen aber weiterhin vor einem Kompromiss: Entweder werden scharfe lokale Texturen betont und das große Ganze verloren, oder die globale Struktur bleibt erhalten, während feine Pinselstriche verwaschen. Transformer-basierte Methoden, die bei langreichweitigen Beziehungen stark sind, helfen bei großflächigen Ausfällen, tun sich jedoch schwer, kleine Details und große Formen auszurichten, wenn der Schaden mehrere Skalen umfasst.

Ein zweigleisiges System, das Nahes und Fernes sieht

WCT-Net begegnet diesem Problem, indem die Aufgabe in zwei kooperierende Zweige innerhalb eines U-förmigen Encoder‑Decoder-Netzes aufgeteilt wird. Ein Zweig nutzt wavelet-basierte Faltungen, eine Methode, ein Bild in glatte, niederfrequente Komponenten und scharfe, hochfrequente Texturen zu trennen. Durch das Lernen in diesen Bändern spezialisiert sich dieser Zweig darauf, winzige Merkmale wie Haarlinien, Gewandfalten und subtile Schattierungen zu bewahren, die den handwerklichen Charakter der Wandmalereien ausmachen. Parallel dazu nutzt ein Transformer-basierter Zweig Self-Attention, um entfernte Bildteile zu verbinden und langreichweitige Muster wie die Pose eines Pferdes oder den Rhythmus eines Prozessionszugs zu erfassen. Eine verbesserte Fusions-Einheit lernt anschließend, wie diese beiden Informationsarten gewichtet und gemischt werden, sodass keine dominiert: Das Modell ehrt zugleich erhaltene Details und extrapoliert eine glaubwürdige Gesamtkomposition.

Das System mit realistischem Schaden lehren

Um WCT-Net zu trainieren und zu testen, stellten die Autorinnen und Autoren einen hochwertigen Datensatz kaiserlicher Grabmalereien aus dem Shaanxi History Museum zusammen und zerteilten große Fotografien in kleinere Bildausschnitte. Sie erzeugten dann drei Familien künstlicher Schadensmasken, um reale Verfallserscheinungen zu simulieren: zufällige Sprenkel und Kratzer für inneres Abblättern, unregelmäßige Randverluste wie durch abgestürzte Putzstücke verursachte Lücken und gemischte Muster, die beides kombinieren. Das System lernte, die Originalbilder aus diesen beschädigten Versionen zu rekonstruieren. Das Team verglich WCT-Net mit sieben führenden Restaurierungsalgorithmen unter Verwendung von Metriken, die sowohl strukturelle Genauigkeit als auch visuelle Natürlichkeit erfassen, und testete es zusätzlich an einem separaten Dunhuang-Wandmalereidatensatz mit einem anderen künstlerischen Stil.

Scharfere Linien, vollständigere Szenen und die Bedeutung davon

Über alle Schadensarten hinweg — innerer Abrieb, fehlende Ränder und komplexe Kombinationen — erzeugte WCT-Net Restaurierungen, die Konturlinien durchgängig hielten, Texturen klarer und Gesamtkompositionen vollständiger als konkurrierende Methoden. Objektive Bewertungen verbesserten sich um mehrere Prozent, und die generierten Bilder stimmten besser mit menschlicher Wahrnehmung von Authentizität überein. Obwohl das Modell rechnerisch aufwändiger ist als einige Rivalen, sind seine Vorteile dort am deutlichsten, wo Wandmalereien am schwersten zu interpretieren sind: wenn sowohl das innere Gemälde als auch seine äußeren Begrenzungen gestört sind. Für Konservatorinnen und Konservatoren bedeutet das eine verlässlichere digitale Vorschau vor Eingriffen an fragilen Oberflächen; für Historikerinnen, Historiker und die Öffentlichkeit eröffnet es klarere Fenster in die visuelle Welt der Vergangenheit. Die Autorinnen und Autoren betonen, dass künftige Arbeiten besser mit vielfältigen Stilen umgehen und effizienter laufen müssen, doch WCT-Net stellt einen wichtigen Schritt dar, KI als sorgfältige, kontextbewusste Partnerin in der Erhaltung des Kulturerbes einzusetzen.

Zitation: Li, J., Wu, M., Lu, Z. et al. WCT-Net: joint restoration of tomb murals based on wavelet convolution and transformer self-attention collaborative network. npj Herit. Sci. 14, 151 (2026). https://doi.org/10.1038/s40494-026-02412-y

Schlüsselwörter: digitale Wandmalerei-Restaurierung, Erhaltung des Kulturerbes, Bildinpainting, Tiefenlernen für Kunst, antike Grabmalereien