Um modelo aprimorado de inpainting guiado por bicondicional semântico e esboço para pinturas paisagísticas chinesas

Devolvendo nova vida digital a obras-primas frágeis

Pinturas paisagísticas chinesas antigas, valorizadas por suas montanhas enevoadas e pinceladas fluidas, também são objetos frágeis: séculos de manuseio, insetos e umidade deixam-nas repletas de rachaduras, galerias de insetos e áreas perdidas. Conservadores precisam equilibrar salvar o que resta sem causar mais dano. Este estudo introduz um método de inteligência artificial (IA) desenvolvido especificamente para ajudar a restaurar essas pinturas no domínio digital, preenchendo perdas enquanto permanece fiel à estrutura e ao estilo originais do artista.

Por que pinturas antigas precisam de tecnologia nova

Os paisagens chinesas tradicionais seguem duas grandes tradições: a Escola do Norte, com seus picos ousados e imponentes, e a Escola do Sul, conhecida por lavagens de tinta suaves e pelo uso do espaço vazio. Ambas dependem de variações sutis de linha e tom que são facilmente perturbadas quando o papel ou a seda se deteriora. Retoques manuais são demorados e irreversíveis; um traço errado pode alterar permanentemente uma obra-prima. Técnicas digitais anteriores copiavam pixels próximos ou dependiam de ferramentas fotográficas de uso geral. Elas podiam cobrir buracos numa fotografia de rua, mas frequentemente falhavam em pinturas, produzindo rochas estranhas, troncos de árvore partidos ou pinceladas que simplesmente “soavam erradas” para especialistas.

Como a nova IA aprende estrutura e significado

Para superar essas limitações, os autores projetaram um sistema de restauração que observa uma pintura de três maneiras complementares ao mesmo tempo. Primeiro, ele extrai um “esboço” detalhado que mostra a intensidade de cada linha, desde cristas montanhosas marcantes até traços finos de textura, usando uma rede de detecção de bordas afinada para preservar transições delicadas de tinta. Segundo, constrói um mapa codificado por cores do que cada região representa — céu, água, rocha, folhagem — usando um modelo de segmentação semântica não supervisionado. Terceiro, analisa a própria imagem parcialmente mascarada. Esses três fluxos são fundidos e alimentados em um Transformer, uma arquitetura poderosa de IA originalmente desenvolvida para linguagem, que prevê como as áreas faltantes devem aparecer para que se encaixem tanto na estrutura subjacente quanto na cena como um todo.

Ensinar a IA a imitar o gesto do pincel, não apenas formas

Igualar a composição é apenas metade do desafio; o preenchimento também deve corresponder à mão do artista. A equipe acrescentou, portanto, um módulo leve de extração de características estilísticas que foca nas qualidades sutis do traço e da tinta — como os traços afilam, como a textura se constrói em faces rochosas, como as lavagens esmaecem no papel em branco. Esse módulo destila informações relevantes ao estilo a partir das partes visíveis da pintura e as injeta em múltiplas etapas enquanto o sistema reconstrói as regiões faltantes, orientando a saída em direção ao mesmo ritmo e tonalidade do original. O treinamento é guiado por um objetivo composto que penaliza não apenas erros a nível de pixel, mas também incompatibilidades na percepção de estrutura, nas estatísticas de textura e no estilo geral, incentivando resultados que pareçam “certos” ao olho humano, e não apenas a um cálculo numérico.

Colocando o método à prova

Para avaliar a abordagem, os pesquisadores reuniram um grande conjunto de dados com quase 5.000 pinturas paisagísticas de alta qualidade de coleções públicas de museus e de um benchmark público, equilibrando obras das Escolas do Norte e do Sul. Eles aplicaram digitalmente máscaras irregulares que imitam danos reais — pequenas perdas, arranhões extensos e galerias de insetos agrupadas — e compararam seu método com seis sistemas líderes de inpainting, incluindo redes convolucionais amplamente usadas, modelos Transformer e modelos de difusão modernos. Em vários níveis de dano, o novo modelo consistentemente alcançou pontuações mais altas em nitidez, similaridade estrutural e realismo visual. Comparações em close mostraram contornos de montanhas mais suaves, galhos de árvores mais convincentes e texturas de tinta que se mesclavam sem emendas às áreas intactas. Avaliadores humanos, incluindo pintores treinados, também preferiram suas restaurações, julgando-as mais coerentes em estrutura e estilo.

O que isso significa para o patrimônio cultural

Em termos simples, o estudo mostra que um sistema de IA pode ser treinado não apenas para “preencher buracos” em imagens, mas para respeitar a lógica interna e a personalidade da pintura paisagística chinesa tradicional. Ao combinar desenhos de linha, significado das regiões e pistas estilísticas, o modelo reconstrói partes faltantes que parecem pertencer genuinamente ao rolo original. Embora não possa substituir conservadores, oferece a museus e pesquisadores uma ferramenta poderosa e não invasiva para visualizar restauros possíveis, planejar tratamentos e criar substitutos digitais mais completos de obras frágeis — ajudando esses paisagens a sobreviverem e a serem estudadas muito depois de o papel ter se tornado delicado demais para ser desenrolado.

Citação: Cao, S., Mu, D., Zhang, Y. et al. An improved semantic and sketch biconditional guided image inpainting model for Chinese landscape painting. npj Herit. Sci. 14, 103 (2026). https://doi.org/10.1038/s40494-026-02371-4

Palavras-chave: restauração digital, pintura paisagística chinesa, inpainting de imagem, patrimônio cultural, conservação de arte