En förbättrad semantisk och skiss‑bikonditionell styrd bildinpaintingmodell för kinesisk landskapsmålning

Ge ömtåliga mästerverk nytt digitalt liv

Forntida kinesiska landskapsmålningar, värderade för sina dimmiga berg och sina flytande penseldrag, är också sköra föremål: århundraden av hantering, insekter och fukt gör att de är fyllda av sprickor, maskhål och saknade partier. Konservatorer måste balansera mellan att bevara det som finns kvar och att undvika ytterligare skada. Denna studie presenterar en artificiell intelligens (AI)-metod särskilt utformad för att hjälpa till att återställa dessa målningar i den digitala domänen, fylla i förluster samtidigt som den förblir trogen konstnärens ursprungliga struktur och stil.

Varför gamla målningar behöver ny teknik

Traditionella kinesiska landskap följer två breda traditioner: den norra skolan, med sina djärva, tornande toppar, och den södra skolan, känd för mjuka tuschsköljningar och tomma ytor. Båda förlitar sig på subtila variationer i linje och ton som lätt störs när papperet eller silken försämras. Manuell retusch är tidskrävande och irreversibel; ett felaktigt penseldrag kan permanent förändra ett mästerverk. Tidigare digitala tekniker kopierade antingen närliggande pixlar eller förlitade sig på allmänna fotoredigeringsverktyg. De kunde laga hål i ett fotografi av en gata, men misslyckades ofta med målningar och gav klumpiga berg, avbrutna trädstammar eller penseldrag som helt enkelt ”kändes fel” för experter.

Hur den nya AI:n lär sig struktur och innebörd

För att övervinna dessa begränsningar utformade författarna ett restaureringssystem som betraktar en målning på tre kompletterande sätt samtidigt. Först extraherar det en detaljerad ”skiss” som visar styrkan i varje linje, från kraftiga bergskamrar till svaga texturdyningar, med ett kantdetekteringsnätverk finjusterat för att bevara sköra tuschövergångar. För det andra bygger det en färgkodad karta över vad varje region representerar—himmel, vatten, berg, växtlighet—med en osupervisad semantisk segmenteringsmodell. För det tredje analyserar det den delvis maskerade bilden själv. Dessa tre strömmar förenas och matas in i en Transformer, en kraftfull AI‑arkitektur ursprungligen utvecklad för språk, som förutspår hur de saknade partierna bör se ut så att de harmonierar både med den underliggande strukturen och helheten i scenen.

Lära AI:n att efterlikna penseldrag, inte bara former

Att matcha kompositionen är bara halva utmaningen; utfyllnaden måste också matcha konstnärens handlag. Teamet lade därför till en lättviktsmodul för stilistisk funktionsutvinning som fokuserar på penseldragets och tuschens subtila kvaliteter—hur streck avsmalnar, hur textur byggs upp på bergsytor, hur sköljningar tonar ut i det blanka pappret. Denna modul destillerar stilrelevant information från de synliga delarna av målningen och injicerar den i flera steg medan systemet rekonstruerar de saknade områdena, vilket styr utdata mot samma rytm och tonala karaktär som originalet. Träningen styrs av ett sammansatt mål som straffar inte bara pixel‑nivåfel utan också mismatch i upplevd struktur, texturstatistik och övergripande stil, vilket uppmuntrar resultat som ser ”rätt” ut för det mänskliga ögat, inte bara för en kalkylator.

Sätta metoden på prov

För att utvärdera tillvägagångssättet samlade forskarna en stor datamängd med nästan 5 000 högkvalitativa landskapsmålningar från offentliga museisamlingar och en offentlig benchmark, med en balans mellan norra och södra skolan. De applicerade digitalt oregelbundna masker som efterliknade verkliga skador—små förluster, breda repor och kluster av maskhål—och jämförde sin metod med sex ledande inpainting‑system, inklusive allmänt använda konvolutionsnätverk, Transformer‑modeller och moderna diffusionsmodeller. Över en rad skadenivåer uppnådde den nya modellen konsekvent högre poäng vad gäller skärpa, strukturell likhet och visuell realism. Uppskalade jämförelser visade mjukare bergskonturer, mer övertygande trädgrenar och tuschtexter som smälte sömlöst in i de orörda områdena. Människogranskare, inklusive utbildade målare, föredrog också dess restaureringar och bedömde dem som mer koherenta både i struktur och stil.

Vad detta betyder för kulturellt arv

Enkelt uttryckt visar studien att ett AI‑system kan tränas inte bara för att ”fyllahål” i bilder utan för att respektera den inre logiken och personligheten i traditionell kinesisk landskapsmålning. Genom att kombinera linjeteckningar, regionsbetydelse och stilistiska ledtrådar rekonstruerar modellen saknade delar som ser ut som om de verkligen kunde tillhöra originalrullen. Även om den inte kan ersätta konservatorer erbjuder den museer och forskare ett kraftfullt, icke‑invasivt verktyg för att visualisera möjliga restaureringar, planera behandlingar och skapa mer fullständiga digitala ersättningar av ömtåliga verk—vilket hjälper dessa landskap att överleva och bli föremål för studier långt efter att pappret blivit för skirt för att rullas ut.

Citering: Cao, S., Mu, D., Zhang, Y. et al. An improved semantic and sketch biconditional guided image inpainting model for Chinese landscape painting. npj Herit. Sci. 14, 103 (2026). https://doi.org/10.1038/s40494-026-02371-4

Nyckelord: digital restaurering, kinesisk landskapsmålning, bildinpainting, kulturellt arv, konservering av konst