Renkli 3B üçgen ağlarda kültürel eserlerin bozulma segmentasyonuna yönelik otomatik bir anotasyon yöntemi

Eski hazinelerin dijital gözlerle izlenmesi neden önemli

Müzelerde ve tarihi mekânlarda heykeller, duvar resimleri ve kabartmalı yüzeyler yavaşça çatlıyor, pul pul dökülüyor ve soluyor. Restoratörlerin neyin nerede hasar gördüğünü tam olarak bilmesi gerekiyor; bunun üzerinden hangi müdahalelerin yapılacağı ve aciliyet derecesi belirleniyor. Ancak ayrıntılı 3B kayıtlar üzerinde her hasarlı bölgeyi dikkatle işaretlemek haftalar alabiliyor. Bu makale, zengin renkli 3B kültürel eser modelleri üzerinde bozulmayı otomatik olarak işaretlemenin bir yolunu sunuyor; uzmanlara özgü yorucu bir işi hızlı ve hassas dijital bir sürece çeviriyor.

Kırılgan heykellerden ayrıntılı 3B ikizlere

Günümüzde birçok önemli eser, fotoğraflardan oluşturulmuş yüksek doğrulukta renkli 3B modeller olarak kaydediliyor. Bu modeller, orijinal nesneye dokunmadan hem şekli hem de yüzey boyasını yakalıyor ve Dunhuang mağaralarından British Museum’a kadar kurumlar bunları kullanıyor. Yine de bu dijital zenginliğin büyük kısmı boşa gidiyor: modeller çoğunlukla görüntüleme ve arşivleme için kullanılıyor, derinlemesine analiz için değil. Koruma çalışmalarında temel zorluk, boyanın nerede döküldüğünü ya da malzemenin nerede çatladığını karmaşık eğimli yüzeyler üzerinde tam olarak saptamak ve ölçmek. Bunu 3B modellerde elle yapmak yavaş ve yorucu; düz fotoğraflar üzerinde yapmak ise hasarın nesnenin üzerinde nerede olduğunu gösteren hayati bilgileri kaybettiriyor.

Düz görüntüler ile 3B şekilleri birbirine bağlamak

Yazarlar, 2B ile 3B’nin “konuşmasını” sağlayan ve her ikisinin güçlü yönlerini aynı anda kullanan bir sistem öneriyor. Önce restorasyon uzmanları özel bir platforma bir renkli 3B model yüklüyor ve ilgi alanını kaba bir kutu ile seçiyor; örneğin bir heykelin kolu ya da kaidesi gibi. Yazılım daha sonra o yüzey parçasını matematiksel olarak “açıyor”, onu sürekli bir düz doku görüntüsü olarak seriyor—minimal bozulma ile soyulup yayılan dijital bir deri gibi. Bu düz haritadaki her pikselin hangi küçük 3B üçgene ait olduğu ve tersinin kesin bilgisi var. Bu iki yönlü bağlantı sayesinde düz görüntü üzerinde çizilen veya bu durumda algılanan işaretler eğri 3B nesne üzerine sadakatle proje edilebiliyor.

Bilgisayara dökülen boyayı görmeyi öğretmek

Yüzey net, sürekli bir görüntüye düzleştirildiğinde sistem hasarlı bölgeleri, özellikle boya dökülmelerini bulmaya odaklanıyor. Kabaca renk eşiklerine dayanmak yerine yazarlar SLIC adlı yöntemin geliştirilmiş bir versiyonunu kullanıyor; bu yöntem görüntüyü çok sayıda küçük, homojen “süperpiksel”e böler. Süperpiksellerin sayısı ve şekli, görüntünün görsel karmaşıklığına göre otomatik olarak belirleniyor; bunun için doku kontrastı ölçütü kullanılıyor. Ardından bir kümeleme adımı süperpikselleri “hasarlı” ve “sağlıklı” alanlar olarak grupluyor. Bu yaklaşım, diğer yaygın segmentasyon tekniklerine kıyasla pul pul dökülen boyanın düzensiz kenarlarını daha sıkı takip ediyor ve gürültüyü azaltıyor. Sonuç, 2B doku haritası üzerinde piksel düzeyinde çizilmiş hassas bir hasar maskesi oluyor.

Hasarı 3B esere geri yerleştirmek

Önceki 2B–3B bağlantının yardımıyla yazılım her bir hasarlı pikseli ait olduğu kesin 3B ağ noktasına kadar izliyor. Basit geometrik dönüşümler kullanarak 2B koordinatları nesnenin eğriliğini izleyen tam 3B konumlara dönüştürülüyor. Bu noktalar daha sonra orijinal 3B modele yapışan temiz, renkli bir bozulma “kabuk”u halinde birleştiriliyor. Çin’in Song Hanedanı’na ait boyalı bir Guanyin ahşap heykelinde yazarlar, otomatik maskelerinin profesyonel modelleme yazılımlarında yapılan titiz elle çalışmayla, keskin eğimli veya çok ayrıntılı alanlarda bile yakından örtüştüğünü gösteriyor. Ayrıca bu 2B ve 3B hasar desenlerini dijital olarak kopyalayıp dönüştürerek veriyi zenginleştiriyor ve gelecekteki derin öğrenme sistemleri için çok sayıda gerçekçi eğitim örneği oluşturuyorlar.

Geçmişi korumak için bunun anlamı

Araştırma, düz görüntüler ile 3B geometrinin dikkatli koordinasyonunun nesnelerin ham dijital kopyalarını pratik koruma araçlarına çevirebileceğini gösteriyor. Platform, elle etiketlemenin iş yükünü ve öznelliğini azaltıyor, tutarlı ve yüksek hassasiyetli hasar haritaları üretiyor ve büyük koleksiyonları işleyebilmek için toplu işlemeyi destekliyor. Basitçe söylemek gerekirse, restorasyon uzmanlarına karmaşık nesnelerde bozulmayı vurgulayan güvenilir, yarı otomatik bir “işaretleyici” sağlıyor ve modern yapay zekâ yöntemlerinin gerektirdiği bol, iyi açıklamalı 3B veriyi üretiyor. Yaklaşım hâlâ kaliteli dokulara ve bozulmaları önleyecek akıllı açmalara bağlı olsa da, dünya kültürel mirasının ölçeklenebilir, veri odaklı bakımı için güçlü bir adım sunuyor.

Atıf: Hu, C., Xie, Y., Xia, G. et al. An automatic annotation method for colored 3D triangular meshes oriented to cultural relic deterioration segmentation. npj Herit. Sci. 14, 150 (2026). https://doi.org/10.1038/s40494-026-02421-x

Anahtar kelimeler: kültürel miras korunumu, 3B dijitalleştirme, otomatik hasar tespiti, doku kaplama, derin öğrenme veri setleri