Tarihî eser restorasyonu için transfer öğrenmenin derin üretici modellerle harmanlanmasıyla otomatik görüntü tamamlama

Antik sanatın yapay zekâ ile onarılmasının önemi

Dünya çapındaki müzeler ve arkeologlar zamanla yarışıyor. Antik duvar resimleri, freskler ve boyalı duvarlar nem, kirlilik ve dikkatsiz müdahaleler nedeniyle yüzyıllar boyunca çatlıyor, soluyor ve dökülüyor. Elle yapılan restorasyonlar yavaş, maliyetli ve bazen geri döndürülemez olabiliyor. Bu çalışma, tarihî sanat eserlerinin hasarlı görüntülerini dijital olarak onarabilen yeni bir yapay zekâ sistemi sunuyor; küratörlere ve araştırmacılara kaybolmuş sahnelerin nasıl görünebileceğini güvenli bir şekilde görselleştirme ve gelecek kuşaklar için koruma imkânı sağlıyor.

Çatlak duvarlar, eksik boya ve dijital bir güvenlik ağı

Geleneksel restorasyon genellikle bir konservatörün fiziksel olarak esere müdahale edip eski boyanın olmadığı yerlere yeni boya eklemesi anlamına gelir. Dikkatle yapılsa da bu tür müdahaleler kolayca geri alınamaz ve modern önyargılar taşıyabilir. Dijital restorasyon farklı bir yol izler: hasarlı duvar resimlerinin yüksek çözünürlüklü fotoğrafları, eksik bölgelerin nasıl doldurulabileceğini öneren bilgisayar algoritmalarıyla işlenir. Her şey yazılımda gerçekleştiği için önerilen restorasyonlar karşılaştırılabilir, düzeltilebilir veya fiziksel nesneye dokunmadan tamamen iptal edilebilir. Yazarlar Çin’deki ünlü mağara tapınak kompleksi Dunhuang’daki duvar resimlerine odaklanıyor; bu resimler çatlak, pul pul dökülme, küf ve büyük eksik bölgelerle zarar görmüş durumda. Amaçları, özgün stil, renkler ve ince detayları mümkün olduğunca koruyarak bu tür görüntüleri otomatik olarak onarabilen bir sistem geliştirmek.

Gürültülü fotoğraflardan temiz başlangıçlara

Sistemin ilk adımı, sonraki işlemlerin kamera gürültüsü veya kötü aydınlatma nedeniyle yanıltılmaması için giriş fotoğraflarını temizlemektir. Yöntem, kenarları korurken benekleri ve rastgele parlak veya karanlık pikselleri yumuşatan uyarlanabilir medyan filtre kullanır. Ardından soluk çizgiler ve renklerin daha kolay ayırt edilebilmesi için kontrastı artırır. Bu ayarlamalar, tozlu bir merceği nazikçe parlatmaya benzer: yeni içerik icat etmezler, ancak mevcut detayları daha görünür kılarlar. Bu aşama dikkatle ayarlandığında, araştırmacıların önem verdiği hassas fırça işçiliğini silebilecek aşırı düzleştirmeden kaçınılır.

Sistemi hasarı anlamaya öğretmek

Görüntü temizlendikten sonra modelin, duvardaki hangi kısımların sağlam ve hangilerinin hasarlı olduğuna karar vermesi gerekir. Bunun için yazarlar, bilgilendirici bölgelere odaklanması için bir dikkat mekanizmasıyla ayarlanmış, kompakt ama güçlü bir sinir ağı olan SqueezeNet’i kullanıyor. Bu ağ, sıva dokuları, pigment desenleri ve çatlakların ya da çıplak duvarın şekilleri gibi duvar resmi görsel dilini öğrenir. Çıktısı, hassas “kes-yapıştır” tarzı görevler için tasarlanmış başka bir ağ olan U-Net’e beslenir. U-Net her pikseli sağlam boya, eksik bölge veya diğer bozulma biçimleri olarak etiketler. Atlama bağlantıları (skip connections) ve eklenen dikkat ile rezidüel bloklar sayesinde hem geniş düzeni (bir figürün veya bordürün nerede olduğu) hem de saç çizgileri ve süslemeler gibi ince özellikleri takip ederek tam olarak nerede tamamlama gerektiğini haritalar.

Bir yapay zekâ ressamının boşlukları doldurmasına izin vermek

Hasarlı bölgeler işaretlendikten sonra son aşama, bu alanların orijinalde nasıl görünüyor olabileceğini tasavvur etmektir. Burada yazarlar iki ileri fikir birleştiriyor: gerçekçi görüntüler yaratmada uzmanlaşmış üretici çekişmeli ağlar (GAN’lar) ve uzun menzilli ilişkileri yakalamada başarılı dönüşümcü (transformer) ağlar. Hibrit "dönüşümcü tabanlı GAN" etrafındaki sağlam boyayı ve duvar resmini bütün olarak inceleyerek eksik bölgeler için olası doku, şekil ve renkleri çıkarır. Sadece yakın pikselleri kopyalayıp yapıştırmaz; bunun yerine sahneye düzgünce karışan ve desenlerin simetrisi ya da cübbelerin ve mimari çizgilerin sürekliliği gibi küresel kompozisyonu gözeten yeni içerikler sentezler.

Dijital restoratörün performansı nasıl

Sistemlerini test etmek için araştırmacılar, yapay olarak hasar verilmiş versiyonlar ve gerçek referansları içeren özel bir Dunhuang duvar resmi veri kümesi kullandılar. Bu, dijital olarak onarılan çıktının hasarsız referansa ne kadar yakın olduğunu ölçmelerine imkân verir. Yöntemleri HDLIP-SHAR adlı sistemin birçok kalite puanında—genel netlik (PSNR), yapısal benzerlik (SSIM) ve insan görsel yargısını daha iyi yansıtan modern bir algısal ölçü (LPIPS) dahil—birkaç güçlü mevcut tekniği geride bıraktığını rapor ediyorlar. Model ayrıca verimli çalışıyor; pek çok rakip yaklaşıma göre daha az hesaplama kaynağı ve daha az zaman gerektiriyor, bu da müzelerin büyük koleksiyonları işleme arzusu varsa önemli bir avantaj.

Tarihi kurtarmak için bunun anlamı

Uzman olmayanlar için temel çıkarım, bu yapay zekâ sisteminin kendinden emin bir ressamdan çok dikkatli, geri alınabilir bir asistan gibi davrandığıdır. Antik duvar resimlerindeki eksik yüzlerin, desenlerin veya sahnelerin nasıl tamamlanabileceğine dair öneriler sunarak orijinalleri riske atmadan araştırmacılara güçlü bir görselleştirme aracı sağlar. Aynı zamanda yazarlar sınırlamalara da dikkat çekiyor: yöntem hâlâ nispeten net referans materyale bağımlı, aşırı şiddetli hasarla başa çıkmakta zorlanıyor ve henüz tahminlerine tarihî uzmanlığı veya malzeme analizini entegre etmiyor. Yine de HDLIP-SHAR gibi hibrit yaklaşımlar, yapay zekâyı sadece güzel görüntüleri geliştirmek için değil, değiştirilemez kültürel mirası şeffaf, test edilebilir ve müdahalesiz bir biçimde korumaya yardım etmek için kullanma yönünde önemli bir adım teşkil ediyor.

Atıf: Swathi, B., Rao, D.B.J. Automated image inpainting for historical artifact restoration using hybridisation of transfer learning with deep generative models. Sci Rep 16, 4810 (2026). https://doi.org/10.1038/s41598-026-35056-w

Anahtar kelimeler: dijital duvar resmi restorasyonu, görüntü tamamlama, derin öğrenme, kültürel miras, GAN dönüşümcü modelleri