WCT-Net: dalgacık konvolüsyonu ve dönüşümcü öz-dikkat işbirlikçi ağına dayalı mezar duvar resimlerinin ortak restorasyonu

Eski duvar resimlerini kurtarmanın yeni araçlara neden ihtiyacı var

Çin genelinde antik mezarlarda, kenarlarından parçalanmış, çatlamış ve soyulan duvar resimleri bulunuyor. Bu resimler artık doğrudan göremediğimiz kraliyet yaşamı, inançlar ve sanat ustalığı sahnelerini yakalıyor. Ancak birçok parça o kadar hasarlı ki uzmanlar bile bir zamanlar nasıl göründüklerini hayal etmekte zorlanıyor. Bu çalışma, bu kırık görüntüleri dijital olarak “tamir” etmek için tasarlanmış yeni bir yapay zeka sistemi olan WCT-Net’i sunuyor; konservatörler için daha güvenli rehberlik ve araştırmacılar ile halk için zenginleştirilmiş görseller sağlıyor.

Kırık resimlerin içindeki gizli sorunlar

Mezar duvar resimleri çift yönlü bir tehditle karşı karşıya. Yüzyıllar boyunca nem toprak ve taş içinde süzülür, sıva içinde kristalleşen tuzlar taşır. Bu, boya altındaki katmanları zayıflatır; bölümler ayrılır, çatlar ve dökülür. Sonuç genellikle iki tür hasarı bir arada barındıran küçük bir sağ kalan parçadır: dış kenarlar eksiktir, bu nedenle genel kompozisyon tamamlanmamıştır ve iç kısım solma, kabarma ve ince çatlaklarla hasar görmüştür. Geleneksel elle restorasyon, parçaların eşleştirilmesi ve dikkatli yeniden yapıştırmaya dayanır, ancak büyük alanlar kaybolduğunda tahmin yürütme hatalara veya yeni zararlara yol açabilir. Dijital restorasyon tersinir, temassız bir alternatif vaad eder—ancak bilgisayarlar hem olası eksik yapıları icat edebilmeli hem de kalan detayları sadakatle koruyabilmelidir.

Önceki dijital çözümler neden yetersiz kaldı

Önceki bilgisayar yöntemleri çoğunlukla aynı görüntünün sağlam kısımlarından öğrendi. Bazıları komşu renkleri ve kenarları boşluklara yaydı; diğerleri sağlam bölgelerden benzer yamaları kopyalayıp yapıştırdı. Bu araçlar düzenli, delik benzeri kusurları doldurabilir, ancak tüm sınırlar kaybolduğunda veya resmin konusunun çok az bağlamdan çıkarılması gerektiğinde başarısız olurlar. Konvolüsyonel sinir ağları ve üretici-rekabetçi ağlar gibi daha yeni derin öğrenme yaklaşımları gerçekçiliği artırdı ama hâlâ bir takasla karşılaşıyor: ya yerel dokuları keskin tutup büyük resmi kaybediyorlar ya da küresel yapıyı koruyup ince fırça işçiliğini bulanıklaştırıyorlar. Uzun menzilli ilişkilerde güçlü olan dönüşümcü tabanlı yöntemler geniş eksik alanlarda yardımcı olur, ancak hasar çok ölçekliyse küçük detaylar ile büyük şekillerin hizalanmasında hâlâ zorlanırlar.

Hem yakını hem uzağı gören iki yollu bir beyin

WCT-Net, görevi U biçimli bir kodlayıcı–çözücü ağı içinde işbirliği yapan iki dala bölerek çözüyor. Bir dal, görüntüyü düzgün, düşük frekanslı bileşenler ve keskin, yüksek frekanslı dokular halinde ayırmanın bir yolu olan dalgacık tabanlı konvolüsyonları kullanır. Bu bantlar üzerinde öğrenerek, saç çizgileri, giysi kıvrımları ve fresklere el işçiliği karakterini veren ince gölgelendirmeler gibi küçük özellikleri korumada uzmanlaşır. Paralelde, dönüşümcü tabanlı bir dal uzak görüntü parçalarını birbirine bağlamak için öz-dikkati kullanır ve bir atın pozunu veya bir alayın ritmini gibi uzun menzilli desenleri yakalar. Geliştirilmiş bir füzyon ünitesi sonra bu iki bilgi türünün nasıl ağırlıklandırılıp harmanlanacağını öğrenir, böylece hiçbiri baskın olmaz: model aynı anda kalan detaylara saygı gösterir ve inandırıcı bir genel sahneyi dışa vurur.

Sistemi gerçekçi hasarla öğretmek

WCT-Net’i eğitmek ve test etmek için araştırmacılar Shaanxi Tarih Müzesi’nden imparatorluk mezar duvar resimlerinin yüksek kaliteli bir veri setini derlediler ve büyük fotoğrafları daha küçük görüntü parçalarına böldüler. Ardından gerçek çürümeyi taklit etmek için üç aile yapay hasar maskesi oluşturdular: iç kabarmayı taklit eden rastgele lekeler ve çizikler, sıvanın kopup düştüğü büyük kenar kayıplarına benzeyen düzensiz sınır kayıpları ve her ikisini birleştiren karışık desenler. Sistem bu hasarlı versiyonlardan orijinal görüntüleri yeniden oluşturmayı öğrendi. Ekip, yapısal doğruluk ve görsel doğallığı yakalayan ölçüler kullanarak WCT-Net’i yedi önde gelen restorasyon algoritmasıyla karşılaştırdı ve ayrıca farklı bir sanatsal tarza sahip ayrı bir Dunhuang duvar resmi veri setinde test etti.

Daha keskin çizgiler, daha dolu sahneler ve bunun anlamı

Tüm hasar türlerinde—iç aşınma, eksik kenarlar ve karmaşık kombinasyonlar—WCT-Net restorasyonlar, kontur çizgilerini sürekli tutarak, dokuları keskin kalarak ve genel kompozisyonları rakip yöntemlerden daha tamamlanmış halde sunarak öne çıktı. Nesnel puanlar birkaç puan iyileşti ve üretilen görüntüler insan algısına göre orijinalliğe daha yakın hale geldi. Model bazı rakiplere göre hesaplama açısından daha ağır olsa da, kazanımları duvar resimlerinin yorumlanmasının en zor olduğu durumlarda en belirgindi: hem iç resim hem de dış sınırlar bozulduğunda. Konservatörler için bu, hassas yüzeylere dokunmadan önce daha güvenilir bir dijital önizleme anlamına gelir; tarihçiler ve halk içinse geçmişin görsel dünyasına daha net pencereler sunar. Yazarlar gelecekteki çalışmaların farklı stilleri daha iyi ele alması ve daha verimli çalışması gerektiğini not ediyor, ancak WCT-Net kültürel miras korumada bağlama duyarlı, dikkatli bir yapay zeka ortağı olarak önemli bir adımı işaret ediyor.

Atıf: Li, J., Wu, M., Lu, Z. et al. WCT-Net: joint restoration of tomb murals based on wavelet convolution and transformer self-attention collaborative network. npj Herit. Sci. 14, 151 (2026). https://doi.org/10.1038/s40494-026-02412-y

Anahtar kelimeler: dijital duvar resmi restorasyonu, kültürel miras koruma, görüntü tamamlama, sanat için derin öğrenme, antik mezar duvar resimleri