DCADif: entkoppelte bedingte adaptive zeitdynamische Fusions-Diffusions-Inpainting von traditionellen chinesischen Wandmalereien

Alte Wandkunst wieder zum Leben erwecken

In ganz China sind Tempelwände und Grottenhöhlen mit jahrhundertealten Wandmalereien bedeckt, die verblassen, abblättern und reißen. Diese Gemälde sind nicht nur schön; sie sind visuelle Zeugnisse von Glauben, Geschichten und Alltagsleben vergangener Zeiten. Die manuelle Restaurierung ist schwierig, zeitaufwendig und mitunter riskant für die empfindlichen Oberflächen. Diese Studie stellt eine neue künstliche Intelligenz (KI)-Methode namens DCADif vor, die Experten dabei unterstützt, fehlende oder beschädigte Bereiche digital zu „inpainten“, dabei sowohl die Zeichnung als auch den Stil originalgetreu zu bewahren.

Warum alte Wandmalereien so schwer zu reparieren sind

Traditionelle chinesische Wandmalereien sind weit mehr als bunt aufgetragene Bilder an einer Wand. Sie verbinden komplexe Kompositionen, feine Linienführung und subtile Texturen, die durch antike Pigmente und Werkzeuge entstanden sind. Wenn Zeit, Feuchtigkeit und Verschmutzung Lücken und Flecken hinterlassen, müssen Restauratorinnen und Restauratoren oft erraten, was einst diese Flächen füllte. Digitale Inpainting-Werkzeuge versuchen dasselbe, doch die meisten vorhandenen Methoden vermischen zwei entscheidende Aufgaben: den zugrunde liegenden Aufbau wiederherzustellen und den einzigartigen künstlerischen Stil zu erhalten. Infolgedessen können ausgebesserte Bereiche strukturell falsch wirken, oder sie stimmen mit den Formen überein, verlieren dabei aber das historische Gefühl der ursprünglichen Pinselstriche und Farben. Die Herausforderung besteht darin, zugleich die „Knochen“ und die „Seele“ des Gemäldes zurückzugewinnen.

Der KI beibringen, Struktur und Stil getrennt zu sehen

Das DCADif-System begegnet dieser Herausforderung, indem es das Problem in zwei Stränge aufteilt. Zunächst wandeln die Forschenden eine Wandmalerei in einfache Linienkunst um, ähnlich einer Tintenkontur. Diese reduzierte Version erfasst, wo Figuren, Objekte und Ränder liegen, ohne von Farbe oder Textur abgelenkt zu werden. Ein leistungsfähiges Visionsmodell (angepasst aus einem Tool, das ursprünglich auf Millionen von Bildern trainiert wurde) liest diese Linienzeichnung und destilliert daraus eine kompakte Beschreibung der Struktur des Wandbildes. In einem separaten Pfad untersucht ein neuer „SwinStyle“-Encoder die beschädigte Originalmalerei selbst, um ihren stilistischen Fingerabdruck zu erlernen: wie Farben verschmelzen, wie Pinselstriche verlaufen und wie Oberflächen rissig werden oder ausbleichen. Indem diese beiden Beschreibungen — Struktur und Stil — getrennt gehalten werden, kann DCADif sie später bei der Restaurierung unabhängig steuern.

Dem Bild erlauben, aus dem Rauschen zu entstehen

Im Kern von DCADif steht ein Diffusionsmodell, eine Art KI, die Bilder erzeugt, indem sie von zufälligem Rauschen ausgeht und dieses schrittweise in ein realistisches Bild „entzerrt“. Dieser Prozess läuft über viele kleine Schritte ab, ähnlich wie ein verschwommenes Bild allmählich an Schärfe gewinnt. Die Autoren entwarfen ein Time-Adaptive Feature Fusion-Modul, das wie ein intelligenter Drehregler zwischen Struktur und Stil wirkt, während das Bild entsteht. In den frühen, sehr verrauschten Stadien stützt sich das Modell stark auf die Struktur und nutzt die Linienzeichnung, um korrekte Formen und Konturen zu setzen. Wenn das Rauschen nachlässt und das Bild klarer wird, dreht sich der Regler langsam in Richtung Stil, sodass reiche Farben, Texturen und historische Details einfließen können, ohne die zugrunde liegende Zeichnung zu verzerren.

Test an einer neuen Bibliothek von Wand- und Tafelmalereien

Um zu beurteilen, ob DCADif die digitale Restaurierung wirklich verbessert, stellte das Team einen großen neuen Datensatz namens MuralVerse-S zusammen, erstellt aus Wandmalereien aus Regionen wie Dunhuang, Gansu, Hebei und der Inneren Mongolei, sowie realistischen Masken, die echte Risse und abblätternde Farbe nachahmen. Sie verglichen DCADif mit neun führenden Inpainting-Methoden, darunter ältere Faltungsnetzwerke, transformerbasierte Modelle und andere Diffusionsansätze. Über verschiedene Grade simulierten Schadens erzeugte DCADif Bilder mit schärferen Strukturen, kohärenteren globalen Layouts und Texturen, die von menschlichen Betrachtern als näher am Original beurteilt wurden. Die Methode schnitt auch bei einer separaten Sammlung chinesischer Landschaftsmalereien gut ab und rekonstruierte erfolgreich subtile Tuschestriche und Bergkonturen, was darauf hindeutet, dass sie über Wandmalereien hinaus verallgemeinerbar ist.

Was das für das Kulturerbe bedeutet

Jenseits von Zahlen und Diagrammen baten die Forschenden 50 Kunstspezialistinnen und -spezialisten sowie Graduiertenstudierende, verschiedene Restaurierungsergebnisse zu bewerten. Die Teilnehmenden stuften DCADif durchgängig am höchsten ein inhaltlicher Genauigkeit, stilistischer Treue und Gesamtqualität. Reale Beispiele, darunter bekannte Werke wie Hofdamen mit blumengeschmückten Hauben, zeigten, dass das System fehlende Gesichter, Gewänder und dekorative Motive so ergänzen kann, dass sie nahtlos mit der Umgebung verschmelzen. Dennoch räumen die Autorinnen und Autoren Grenzen ein: Wenn große Bereiche zerstört sind, birgt jede digitale Vermutung das Risiko historischer Ungenauigkeit, und die Methode bleibt rechenintensiv. Trotz alledem bietet DCADif Konservatorinnen und Konservatoren ein neues, nicht-invasives Werkzeug — eines, das sorgfältige, hochtreue Rekonstruktionen vorschlagen kann, während die originale Wand unangetastet bleibt, und Museen sowie Forschenden hilft, unersetzliche Kulturschätze besser zu studieren, zu visualisieren und zu schützen.

Zitation: Peng, X., Li, C., Hu, Q. et al. DCADif: decoupled conditional adaptive time-dynamic fusion diffusion inpainting of traditional Chinese mural paintings. npj Herit. Sci. 14, 61 (2026). https://doi.org/10.1038/s40494-026-02327-8

Schlüsselwörter: digitale Wandmalerei-Restaurierung, Bildinpainting, Diffusionsmodelle, chinesisches Kulturerbe, Technologie der Kunstkonservierung