AFMNet: çoklu-baş dikkat mekanizmasıyla etkinlemesiz bir duvar resmi tamamlama ağı

Solmuş Duvar Resimlerini Kurtarmak Neden Önemli?

Tapınaklardaki ve mağaralardaki antik duvar resimleri yalnızca güzel süslemeler değildir; bir zamanlar insanların nasıl yaşadığını, nasıl dua ettiğini, nasıl giyindiğini ve dünyayı nasıl hayal ettiğini görsel olarak kayıt altına alırlar. Ne yazık ki, bu duvar resimlerinin çoğu çatlamış, pul pul dökülmüş veya kısmen kaybolmuştur. Onları elle restore etmek yavaş, riskli ve bazen imkânsızdır. Bu çalışma, AFMNet adında, duvar resmi görüntülerindeki hasarlı alanları göze inandırıcı gelecek şekilde dijital olarak “doldurabilen”, mütevazı donanımlarda verimli çalışan ve hassas kültürel hazineleri araştırma ve sanal sergileme için korumaya yardımcı olan yeni bir bilgisayar yöntemini tanıtıyor.

Kırık Resimlerle İlgili Sorun

Geleneksel dijital onarım araçları genellikle eksik bölgelere yakın renkleri ve dokuları kopyalar; bu küçük çizikler için işe yarar ancak yüzler, eller veya dekoratif desenler tamamen kaybolduğunda başarısız olur. Modern yapay zeka yöntemleri büyük boşluklar için olası içerikler tasarlayabilir, ancak bunların çoğu günlük fotoğraflar için geliştirilmiş olup antik sanatın benzersiz üslubuna uygun değildir. Duvar resimleri genellikle tekil figürler, karmaşık bordürler ve düzenli şekiller izlemeyen düzensiz çatlaklar içerir. Mevcut sistemler ya önemli ayrıntıları bulanıklaştırır, uygunsuz şekiller ekler ya da birçok müze ve koruma laboratuvarı için pratik olmayan yüksek hesaplama gücü gerektirir.

Duvar Resimleri İçin İnce Tasarlanmış Bir Ağ

AFMNet, hasarlı bir görüntüyü özelliklere ayıran bir kodlayıcı ve bunları yeniden birleştirerek tamamlanmış bir resim üreten bir çözücüye sahip U şeklinde kompakt bir görüntü işleme ağıdır. Onu özel kılan şey çift akışlı tasarımıdır: bir akış duvar resminin görünen parçaları hakkındaki bilgiyi taşırken, diğer akış hangi piksellerin eksik veya güvenilmez olduğuna dair bir harita taşır. Bu harita her aşamada güncellenir, böylece sistem her zaman orijinal görüntüye nerede güvenileceğini ve nerede yeni içerik üretmesi gerektiğini bilir. Sağlam ve hasarlı bölgeleri açıkça ayırarak AFMNet çabalarını en çok ihtiyaç duyulan yerlere odaklar ve sağlam alanları gereksiz yere değiştirmekten kaçınır.

Küresel Desenleri İnce Ayrıntıyla Harmanlamak

İkna edici onarımlar yapabilmek için sistemin hem genel sahneyi hem de ince fırça darbelerini anlaması gerekir. AFMNet’in temel yapı taşı bunu aynı anda üç tamamlayıcı şekilde inceleyerek çözer. Uzamsal görünümde, çatlaklar ve kenarlarla başa çıkmasına yardımcı olan piksellerin yerel komşuluklarını inceler. Frekans görünümünde, tüm duvar resmi genelinde daha geniş yapıları ve tekrarlayan motifleri görebilmek için matematiksel bir dönüşüm kullanır. Kanal görünümünde ise hangi renk ve doku kombinasyonlarının en önemli sanatsal sinyalleri taşıdığını öğrenir ve daha az yararlı bilgileri görmezden gelirken bunları sessizce güçlendirir. Standart, hesaplama yoğun aktivasyon fonksiyonlarına dayanmak yerine AFMNet, doğrusal olmayanlık oluşturmak için özellik haritalarının çiftlerini çarpan basit bir kapı mekanizması kullanır; bu da modelin boyutunu ve hesaplamasını azaltırken ifade gücünden ödün vermez.

Uzak Bölgelerin Birbirleriyle Konuşmasına İzin Vermek

Birçok duvar resminde figürler, süslemeler ve arka planlar duvardaki geniş mesafeler boyunca ilişkili olabilir. Bu uzak öğeleri bağlamak için AFMNet, U'nun en dar noktasına hafif bir çoklu-baş dikkat modülü ekler. Burada ağ, görüntünün her parçasının diğer tüm geçerli parçalara “bakmasına” ve hangi parçaların onarıma etki etmesi gerektiğine karar vermesine izin verir. Farklı dikkat başlıkları farklı ilişkilere uzmanlaşabilir—örneğin, bir hale eğrisinin tutarlılığını korumak veya tekrarlanan bir bordür desenini hizalamak gibi. Kritik olarak, dikkat modülü hasar haritasını da görür, böylece daha önce sentetik olarak doldurulmuş ve hâlâ belirsiz olabilecek bölgelere dayanarak kararlar vermemeyi öğrenir.

Uygulamada İşe Yaradığını Kanıtlamak

AFMNet’i titizlikle test etmek için yazarlar önce büyük bir günlük sahne koleksiyonunda eğittiler, sonra Dunhuang mağara resimlerinden özenle seçilmiş bir veri kümesi üzerinde ince ayar yaptılar. Gerçekçi hasar maskeleri oluşturmak için gerçek çatlakları ve pul dökülmeyi taklit eden rastgele-yürüyüş süreçleri kullandılar. Birçok hasar seviyesinde, AFMNet standart görüntü kalitesi ölçütlerinde tanınmış rakip yöntemleri tutarlı olarak geride bıraktı ve güçlü bir temel modele kıyasla yaklaşık üçte bir daha az parametre kullandı. Hem sentetik hem de gerçek hasarlı duvar resimlerindeki görsel karşılaştırmalar, AFMNet’in yüz özelliklerini, dekoratif çizgileri ve ince dokuları daha iyi koruduğunu; dikkat dağıtan artefaktların daha az olduğunu ve müze görselleştirmelerinde yaygın olan daha yüksek çözünürlüklerde bile daha başarılı olduğunu gösterdi.

Kültürel Miras İçin Anlamı

Basitçe söylemek gerekirse, AFMNet eksik parçaları stiline ve yapısına saygı göstererek tahmin edebilen akıllı ve verimli bir dijital restorasyon aracıdır. En şiddetli is kararması ve son derece karmaşık dokularla hâlâ zorlanmakla birlikte, birçok mevcut araçtan daha zarif bir şekilde çatlaklar ve pigment kaybıyla başa çıkar ve standart bilgisayarlarda veya dizüstülerde sahada kullanılabilecek kadar hızlı çalışabilir. Koruyuculara ve araştırmacılara, hasarlı eserlerin bir zamanlar nasıl göründüğünü görselleştirmede, fiziksel müdahaleleri daha güvenli planlamada ve kırılgan duvar resimlerini daha geniş kitlelere canlandıran etkileyici dijital sergiler yaratmada güçlü bir yardımcı sağlar.

Atıf: Hu, C., Luo, D., Xia, G. et al. AFMNet: an activation-free mural completion network via multi-head attention mechanism. npj Herit. Sci. 14, 239 (2026). https://doi.org/10.1038/s40494-026-02379-w

Anahtar kelimeler: dijital duvar resmi restorasyonu, görüntü tamamlama, kültürel miras, derin öğrenme, dikkat ağları