Улучшенная семантико‑эскизная двусторонняя модель направляемой реставрации изображений для китайской пейзажной живописи

Вдохнуть новую цифровую жизнь в хрупкие шедевры

Древние китайские пейзажи, ценимые за туманные горы и текучую манеру кисти, сами по себе хрупки: столетия обращений, насекомые и повышенная влажность оставляют на них трещины, отверстия от червей и пропущенные фрагменты. Консерваторы вынуждены балансировать между сохранением существующего и предотвращением дальнейшего вреда. В этом исследовании предложен метод на базе искусственного интеллекта (ИИ), специально созданный для помощи в цифровой реставрации таких картин — он заполняет утраты, при этом оставаясь верным исходной структуре и стилю художника.

Почему старым картинам нужна новая технология

Традиционные китайские пейзажи следуют двум широким традициям: Северной школе с её смелыми, возвышающимися пиками и Южной школе, известной мягкими чернильными растушёвками и пустым пространством. Обе опираются на тонкие вариации линии и тона, которые легко искажаются при разрушении бумаги или шёлка. Ручная реставрация трудоёмка и необратима; одна неудачная правка может навсегда изменить шедевр. Ранние цифровые методы либо копировали соседние пиксели, либо использовали универсальные инструменты для фотографий. Они могли залатать дыру на снимке улицы, но часто не справлялись с картинами, создавая неуклюжие скалы, разорванные стволы деревьев или мазки, которые экспертам «кажутся неправильными».

Как новый ИИ изучает структуру и смысл

Чтобы преодолеть эти ограничения, авторы разработали систему реставрации, которая одновременно рассматривает картину в трёх взаимодополняющих представлениях. Во‑первых, она извлекает подробный «эскиз», показывающий силу каждой линии — от мощных хребтов до едва заметных штрихов — с помощью сети обнаружения границ, настроенной на сохранение деликатных чернильных переходов. Во‑вторых, она строит раскрашенную карту того, что представляет собой каждая область — небо, вода, скала, листво — с помощью неконтролируемой семантической сегментации. В‑третьих, анализируется частично замаскированное изображение. Эти три потока объединяются и подаются в Трансформер, мощную архитектуру ИИ, изначально разработанную для языка, который предсказывает, как должны выглядеть отсутствующие фрагменты, чтобы соответствовать как базовой структуре, так и общей сцене.

Обучение ИИ имитировать манеру кисти, а не только формы

Соответствие композиции — лишь половина задачи; заполнение должно также соответствовать почерку художника. Поэтому команда добавила лёгкий модуль извлечения стилистических признаков, сосредоточенный на тонких качествах мазка и чернил — как штрихи сужаются, как текстура образуется на скалах, как растяжки чернил тают в пустую бумагу. Этот модуль уплотняет стиль‑релевантную информацию из видимых частей картины и вводит её на нескольких этапах по мере восстановления пропущенных областей, подталкивая результат к тому же ритму и тональности, что и оригинал. Обучение ведётся по составной целевой функции, которая штрафует не только ошибки на уровне пикселей, но и несоответствия в восприятии структуры, статистике текстур и общем стиле, поощряя результаты, которые «выглядят правильно» для человеческого глаза, а не только для калькулятора.

Испытание метода на практике

Для оценки подхода исследователи собрали крупный набор данных почти из 5000 высококачественных пейзажных картин из публичных музейных коллекций и открытого бенчмарка, сбалансировав произведения Северной и Южной школ. Они цифровым образом наложили нерегулярные маски, имитирующие реальные повреждения — мелкие утраты, широкие царапины и скопления отверстий от червей — и сравнили свой метод с шестью ведущими системами восстановления, включая широко используемые сверточные сети, модели на базе Трансформеров и современные диффузионные модели. По ряду уровней повреждений новая модель последовательно показывала более высокие показатели резкости, структурного сходства и визуального реализма. Увеличенные сравнения демонстрировали более плавные контуры гор, более правдоподобные ветви деревьев и текстуры чернил, которые бесшовно встраивались в нетронутые области. Человеческие рецензенты, в том числе обученные художники, также предпочитали её реставрации, оценивая их как более согласованные по структуре и стилю.

Что это значит для культурного наследия

Проще говоря, исследование показывает, что систему ИИ можно обучить не просто «залатывать дыры» в изображениях, а уважать внутреннюю логику и индивидуальность традиционной китайской пейзажной живописи. Объединяя линейные эскизы, смысл регионов и стилистические подсказки, модель реконструирует недостающие части так, что они выглядят так, будто по‑настоящему могут принадлежать оригинальному свитку. Хотя она не заменит консерваторов, она предлагает музеям и исследователям мощный неинвазивный инструмент для визуализации возможных реставраций, планирования вмешательств и создания более полных цифровых суррогатов хрупких произведений — помогая этим пейзажам сохраниться и быть изученными задолго до того, как бумага станет слишком нежной для развертывания.

Цитирование: Cao, S., Mu, D., Zhang, Y. et al. An improved semantic and sketch biconditional guided image inpainting model for Chinese landscape painting. npj Herit. Sci. 14, 103 (2026). https://doi.org/10.1038/s40494-026-02371-4

Ключевые слова: цифровая реставрация, китайская пейзажная живопись, восстановление изображений, культурное наследие, сохранение искусства