Прогрессивная трехэтапная схема для инпейнтинга древних текстов Донгба

Почему важно сохранять древнюю пиктографию

Для народа наси на юго-западе Китая книги Донгба — это дверь в тысячу лет легенд, ритуалов и повседневной жизни. Эти книги написаны редким рисунко-подобным письмом, в котором переплетаются изображения и знаки. Время, влажность и частое обращение повредили многие страницы: появились дырки и утраченные штрихи, из-за чего символы трудно прочитать или вовсе распознать. В этой работе предлагается новый цифровой метод «заполнения пробелов» в этих хрупких текстах, направленный на восстановление как внешнего вида письма, так и его смысла, и предлагающий мощный инструмент для сохранения культуры.

От поврежденных страниц к цифровой реставрации

Консерваторы давно пытаются физически ремонтировать поврежденные рукописи, но сегодня цифровая реставрация открывает дополнительный путь: вместо вмешательства в оригинал компьютеры могут реконструировать утраченные части на отсканированном изображении. Для обычного печатного текста современные алгоритмы уже неплохо угадывают потерянные буквы по окружающим формам и узорам. Книги Донгба представляют собой более сложную задачу. Каждый знак — это маленький рисунок, линии которого несут и визуальный стиль, и смысл. Если программное обеспечение просто замкнет линии ради гладкого вида, оно может нечаянно превратить знак во что-то несуществующее, исказив культурное наследие. Авторы утверждают, что серьёзная реставрация должна уважать и художественную внешность, и строгие правила письменности.

Трехэтапное путешествие от контура к смыслу

Исследовательская группа предлагает прогрессивную трехступенчатую схему, названную TsP, специально разработанную для страниц Донгба с сильными повреждениями. На первом этапе система сосредоточена только на контурах. Она принимает поврежденное изображение, определяет, где раньше были штрихи, и с помощью гибрида двух мощных подходов — сверточных сетей, хорошо работающих с локальными деталями, и трансформеров, эффективных для глобальной структуры — грубо восстанавливает отсутствующие контуры. Результат — приближённая карта контуров, подобная эскизу, который подсказывает общую форму знака даже там, где части отсутствуют.

Когда цифровой словарь задаёт направление ремонта

На втором этапе система привлекает знания о самом Донгба. Исследователи создали цифровой словарь часто используемых символов Донгба, включая множество стилей почерка для каждого знака. Алгоритм сравнивает восстановленный на первом этапе контур со всеми записями в этом словаре и находит наиболее похожий полный символ. Он делает это не чтением текстовых меток, а измерением статистического сходства форм. Выбранный символ служит «семантическим приоритетом» — лучшей гипотезой о том, какой должен быть отсутствующий знак, предоставляя как смысловые подсказки, так и тонкие детали штрихов, которые чисто визуальный метод мог бы упустить.

Полировка финального изображения

На третьем, финальном этапе, TsP объединяет две информационные линии: структурный контур из первого шага и полный символ из словаря. Специально спроектированная двухветвная нейросеть извлекает признаки из обоих источников: одна ветвь фокусируется на расположении штрихов, другая — на более богатых содержательных шаблонах. Эти признаки затем направляют модуль реставрации, работающий не только в пространственной области изображения, но и в частотной области, где можно эффективнее корректировать такие свойства, как общая гладкость и ритм штрихов. Этот финальный проход устраняет артефакты, добавляет недостающие части штрихов и сглаживает переходы между старым и вновь сгенерированным, чтобы восстановленный знак естественно встраивался в оригинальную страницу.

Насколько хорошо это работает?

Для оценки своего подхода авторы использовали DB1404 — единственный крупный публичный набор данных символов Донгба, содержащий тысячи знаков, снятых в разных стилях. Они создали цифровые «повреждения» различной степени тяжести, маскируя от небольшой части изображения до половины его площади с помощью неправильных отверстий и царапин, имитирующих реальное разрушение. TsP сравнивали с ведущими методами восстановления изображений, включая классические инструменты, современные системы на основе трансформеров и диффузионные модели. По всем уровням повреждений TsP давала результаты, которые были и визуально более правдоподобны, и структурно ближе к оригинальным знакам, особенно когда отсутствовали большие фрагменты — именно в тех случаях, которые наиболее критичны для редких и хрупких рукописей.

Что это значит для древних письмен

Проще говоря, эта работа показывает, что компьютеры могут научиться не просто замазывать трещины на изображении, но и уважать правила и значения древней системы письма при этом. Сначала угадывая скелет повреждённого знака, затем сопоставляя его с известным символом и наконец используя оба источника как руководство для аккуратного инпейнтинга, TsP лучше сохраняет первоначальную форму и смысл письма Донгба. Помимо технического достижения, такой подход может помочь библиотекарям, историкам и местным сообществам восстановить содержимое рукописей, которые в противном случае остались бы нечитаемыми, и послужить шаблоном для восстановления других исчезающих письмен по всему миру.

Цитирование: Bi, X., Shi, Q. & Chen, Z. Three-stage progressive framework for Dongba ancient texts inpainting. npj Herit. Sci. 14, 240 (2026). https://doi.org/10.1038/s40494-026-02524-5

Ключевые слова: рукописи Донгба, реставрация древнего письма, восстановление изображений, оцифровка культурного наследия, глубокое обучение