Автоматизированное восстановление изображений исторических артефактов с гибридизацией переноса обучения и глубоких генеративных моделей

Почему важно восстанавливать древнее искусство с помощью ИИ

Музеи и археологи по всему миру борются со временем. Древние фрески, настенные росписи и росписи стен разрушаются, выцветают и трескаются после веков воздействия влаги, загрязнений и небрежного обращения. Ручная реставрация занимает много времени, стоит дорого и иногда необратима. В этом исследовании представлена новая система искусственного интеллекта, способная цифровым способом восстанавливать повреждённые изображения исторических произведений, предлагая куратором и исследователям безопасный способ визуализировать, как могли выглядеть утраченные сцены, и сохранять их для будущих поколений.

Трещины, утрата красок и цифровая страховка

Традиционная реставрация часто означает, что консерватор физически подрисовывает произведение, добавляя краску туда, где её нет. Даже при осторожном подходе такие вмешательства трудно отменить и они могут ввести современные искажения. Цифровая реставрация идёт другим путём: высокоразрешённые фотографии повреждённых фресок обрабатываются алгоритмами, которые предлагают, как можно заполнить утраченные участки. Поскольку всё происходит в программном обеспечении, предлагаемые варианты восстановления можно сравнивать, корректировать или полностью отвергать без прикосновения к физическому объекту. Авторы сосредоточились на фресках из Дуньхуана в Китае — знаменитом комплексе пещерных храмов, чьи настенные росписи пострадали от трещин, шелушения, плесени и крупных утрат красочного слоя. Их цель — создать систему, автоматически восстанавливающую такие изображения, сохраняя стиль, цвета и тонкие детали по возможности нетронутыми.

От шумных фотографий к чистой отправной точке

Первый шаг системы — очистить входные фотографии, чтобы последующая обработка не была введена в заблуждение шумом камеры или плохим освещением. Метод использует адаптивный медианный фильтр — приём, который удаляет пятна и случайные яркие или тёмные пиксели, сохраняя при этом резкие границы, такие как контуры в сцене фрески. Затем повышается контраст, чтобы бледные линии и выцветшие цвета стали легче различимы. Эти корректировки подобны мягкой полировке запылённой оптики: они не придумывают новый контент, но делают существующие детали более видимыми. Тщательная настройка этого этапа помогает авторам избежать чрезмерного сглаживания, которое могло бы стереть деликатные мазки, представляющие интерес для специалистов.

Обучение системы распознавать повреждения

После очистки изображения модель должна определить, какие части фрески целы, а какие повреждены. Для этого авторы используют компактную, но мощную нейросеть SqueezeNet, дополненную механизмом внимания, чтобы она фокусировалась на информативных областях. Эта сеть учится «читать» визуальный язык фресок — текстуры штукатурки, рисунок пигментов и формы трещин или оголённой стены. Её выход подаётся в другую сеть, U-Net, предназначенную для точечных задач сегментации. U-Net помечает каждый пиксель как целую краску, утраченный фрагмент или другую форму разрушения. Благодаря пропускным соединениям и добавленным блокам внимания и остаточным связям сеть отслеживает как общий план (где расположена фигура или орнамент), так и мельчайшие элементы (например, тонкие линии и украшения), точно определяя, где требуется восстановление.

Когда ИИ-художник заполняет пробелы

После маркировки повреждённых областей заключительный этап — представить, как эти участки могли выглядеть ранее. Здесь авторы объединяют две передовые идеи: генеративно-состязательные сети (GAN), отлично умеющие создавать реалистичные изображения, и трансформеры, которые хорошо улавливают дальние взаимосвязи. Их гибридная «трансформерная GAN» анализирует окружающую неповреждённую краску и картину в целом, чтобы вывести правдоподобные текстуры, формы и цвета для утраченных зон. Она не просто копирует соседние пиксели; вместо этого синтезируется новый контент, который плавно встраивается в сцену и учитывает глобальную композицию, например симметрию узоров или непрерывность одежд и архитектурных линий.

Насколько хорошо работает цифровой реставратор

Для тестирования системы исследователи использовали специализированный набор изображений фресок Дуньхуана, включающий искусственно повреждённые версии и исходные эталонные снимки. Это позволяет измерить, насколько близок цифровой результат к не повреждённому образцу. Авторы сообщают, что их метод, названный HDLIP-SHAR, превосходит несколько сильных существующих техник по нескольким метрикам качества, включая общую чёткость (PSNR), структурное сходство (SSIM) и современную перцептуальную меру (LPIPS), лучше отражающую человеческое визуальное восприятие. Модель также работает эффективно, требуя меньше вычислительных ресурсов и времени, чем многие конкуренты, что важно, если музеи захотят обрабатывать крупные коллекции.

Что это значит для сохранения истории

Для неспециалистов главный вывод таков: эта система ИИ действует скорее как внимательный, обратимый помощник, чем как самоуверенный художник. Она может предложить варианты того, как могли быть дополнены утраченные лица, орнаменты или сцены в древних фресках, предоставляя учёным мощный инструмент визуализации без риска для оригиналов. При этом авторы отмечают ограничения: метод всё ещё зависит от наличия относительно ясного эталонного материала, испытывает трудности при крайне серьёзных повреждениях и пока не включает в свои предположения исторические исследования или анализ материалов. Тем не менее гибридные подходы вроде HDLIP-SHAR представляют важный шаг к использованию ИИ не только для улучшения красивых изображений, но и для помощи в сохранении невосполнимого культурного наследия прозрачно, проверяемо и неинвазивно.

Цитирование: Swathi, B., Rao, D.B.J. Automated image inpainting for historical artifact restoration using hybridisation of transfer learning with deep generative models. Sci Rep 16, 4810 (2026). https://doi.org/10.1038/s41598-026-35056-w

Ключевые слова: цифровая реставрация фресок, восстановление изображений, глубокое обучение, культурное наследие, GAN и трансформерные модели