“Gerçek Dünya+” Bozulma Birleştirmesine Dayalı Bir Çin Geleneksel Operası Video Süper-Çözünürlük Veri Kümesi

Eski Opera Filmlerini Yeniden Canlandırmak

Çin’in geleneksel operalarına ait birçok kayıt yalnızca kırılgan, düşük kaliteli video biçiminde kalmıştır. Zaman, toz ve tekrar eden kopyalamalar yüzleri bulanıklaştırmış, kostümleri solgunlaştırmış ve sahneleri görsel gürültüyle doldurmuştur. Bu makale, bu tür videoları dijital olarak “temizleyip” keskinleştirmenin yeni bir yolunu sunuyor; her filmi el ile onarmak yerine yapay zekimodelerini eğitmek için özel bir veri koleksiyonu oluşturuyor. Amaç, bilgisayarların bulanık, yaşlanmış görüntüleri daha net ve canlı hâle nasıl getireceğini öğrenmesine yardımcı olmak ve dünyanın kültürel belleğinin önemli bir parçasını korumaktır.

Eski Opera Videoları Neden Bu Kadar Kötü Görünür

Pekin Operası ve Kunqu gibi ünlü stilleri de içeren Çin geleneksel operası, UNESCO tarafından insanlığın ortak kültürel mirası olarak tanınmıştır. Buna rağmen, bu performansların hayatta kalan birçok videosu uzun ve zorlu bir yolculuktan geçmiştir. İlk olarak, orijinal çekim ekipmanı bulanıklık ve kamera gürültüsü ekler. Ardından, film, bant veya disklerde saklama çizikler, şekil bozulmaları ve veri kayıpları yaratır. Son olarak, tekrar eden kopyalamalar, internete sıkıştırma ve kararsız ağ iletimi blok benzeri bozulmalar, titreme ve kare düşüşleri ekler. Ortaya çıkan yalnızca basit bir bulanıklık değil; farklı hasar türlerinin iç içe geçmiş karmaşık bir karışımıdır ve bu da restorasyon yöntemlerinin orijinal sahnenin nasıl görünmesi gerektiğini tahmin etmesini çok zorlaştırır.

Bulanık ve Net Kare Çiftleri Oluşturmak

Modern video “süper-çözünürlük” yöntemleri, bilgisayarlara düşük kaliteli bir kareden keskin, ayrıntılı bir kare tahmin etmeyi öğretir. Bu beceriyi öğrenmek için, bulanık bir karenin yüksek kaliteli tam aynı sahneyle kusursuz eşleştiği birçok örneğe ihtiyaçları vardır. Mevcut eğitim koleksiyonları genellikle ya basitleştirilmiş, yapay hasara ya da düşük ve yüksek kalite sürümleri arasında tam hizalanmamış gerçek çekimlere dayanır. Yazarlar, CTOVSR adında yeni bir kaynak oluşturmak için orijinal makaralardan profesyonelce restore edilmiş ve çok yüksek çözünürlüğe ulaşmış dört geleneksel opera filminden başladılar. Ardından, aynı performansların çevrimiçi olarak yayımlanmış standart tanımlı (SD) eşleşen versiyonlarını buldular. Bu daha düşük kaliteli kopyalar gerçek dünya yaşlanma sürecinin tamamından geçtiği için ideal “önce” görüntüleriydi.

Her Kareyi Özenle Hizalama

Restore edilmiş ve yaşlanmış videoları eşleştirmek hiç de basit değildi. Kare hızı farkları, eksik sahneler, eklenmiş filigranlar, siyah kenarlar ve değişen en-boy oranları gibi farklılıklar basit otomatik yöntemlerin işe yaramamasına neden oldu. Ekip kullanılabilir segmentleri çıkardı ve ardından dikkatli üç aşamalı bir hizalama gerçekleştirdi. Önce, zamanlama problemlerini—kare kaybı, sıra dışı kareler ve sahne geçişlerinde ortaya çıkan “hayalet” kareler gibi—manuel olarak düzeltmek için eye_comparer adlı özel bir araç kullandılar. Sonra, görüntü düzenleme yazılımında kareleri üst üste getirerek mekânsal uyumsuzlukları ele aldılar; içeriği hassas biçimde hizalayıp sahneye mümkün olduğunca çok şey koruyarak kenarlar, logolar ve altyazıları kırparak çıkardılar. Son olarak, yapısal olarak neredeyse özdeş olan sadece kare çiftlerini tutmak için bir benzerlik ölçütü kullanarak otomatik bir kontrol çalıştırdılar. Bu süreç, yüz binlerce kareyi kapsayan 250 yüksek kaliteli gerçek dünya dizi çifti üretti.

Gerçek Hasarı Sentetik Aşınma ile Harmanlamak

Bu dikkatle hizalanmış çiftler gerçek dünyadaki bozulmayı yakalasa da, video bozulmalarının tüm çeşitliliğini kapsamak için hâlâ çok azdı. Eğitim materyalini genişletmek için yazarlar ikinci bir bileşen eklediler: 41 ek yüksek çözünürlüklü opera videosuna uygulanan sentetik hasar. Uzamsal hasarı—bulanıklık ve gürültü gibi—iki aşamalı bir bozulma zinciriyle simüle ettiler ve geçici (temporal) hasarı, birçok çevrimiçi klibin tarihsel olarak kodlandığı yaygın kullanılan eski bir sıkıştırma standardıyla yansıttılar. Bu sentetik bölümü “Gerçek Dünya+” çiftleriyle birleştirerek, her biri 100 kare süren ve çeşitli opera türleri, sahneler ve aydınlatma koşullarını gösteren 900 sıkı hizalanmış düşük–yüksek kalite video çiftini içeren CTOVSR veri kümesini oluşturdular.

Yeni Koleksiyonun Değerini Kanıtlamak

CTOVSR’nin gerçekten bilgisayarların eski videoları onarmasına yardımcı olup olmadığını test etmek için, yazarlar yalnızca bu veri kümesini kullanarak birkaç son teknoloji süper-çözünürlük modelini eğittiler. Çıktıları basit yeniden boyutlandırma yöntemleriyle karşılaştırdıklarında, eğitilmiş modellerin daha net görüntüler, daha keskin kostüm detayları, daha okunaklı yüz makyajı ve daha az görünür artefakt ürettiğini buldular. Bir yoklama (ablation) çalışması, gerçek ve sentetik hasarın birleştirilmesinin tek başına herhangi birini kullanmaktan belirgin şekilde daha iyi olduğunu gösterdi. Araştırmacılar ayrıca eğittikleri modelleri tamamen yeni görüntülere uyguladı: çevrimiçi bulunan yaşlanmış opera kliplerine ve İtalyan operası ile Hint klasik dansı gibi diğer kültürlere ait performans videolarına bile. İnsan izleyiciler, geliştirilmiş kareleri orijinallerden veya temel ölçeklendirilmiş versiyonlardan anlamlı biçimde daha yüksek puanladı; bu da CTOVSR ile eğitilmiş modellerin içerdiği özel materyalin ötesine genelleme yapabildiğini gösteriyor.

Daha Akıllı Verilerle Mirası Kurtarmak

Basitçe söylemek gerekirse, bu çalışma başka bir restorasyon algoritması sunmuyor; bunun yerine bu algoritmaların öğrenmesi için özenle hazırlanmış “alıştırma malzemesini” sağlıyor. Hasarlı ve yüksek kaliteli geleneksel opera görüntülerini titizlikle eşleştirip bunları gerçekçi simüle aşınmayla zenginleştirerek, CTOVSR veri kümesi yapay zekâya eski videoların nasıl bozulduğuna ve restorasyon sonrası nasıl görünmeleri gerektiğine dair çok daha iyi bir sezgi kazandırıyor. Bu yaklaşım, yalnızca Çin geleneksel operasına yeni görsel bir yaşam kazandırmak için pratik bir yol sunmakla kalmıyor; aynı zamanda birçok başka benzersiz tarihi videonun dijital unutulmaya karışmasını önlemek için de kullanılabilir.

Atıf: Xi, W., Qin, B., Zhang, Y. et al. A Chinese Traditional Opera Video Super-Resolution Dataset Based on the “Real-world+” Degradation Fusion. Sci Data 13, 387 (2026). https://doi.org/10.1038/s41597-026-06776-5

Anahtar kelimeler: video süper-çözünürlük, dijital miras koruma, Çin geleneksel operası, görüntü restorasyonu, bozulmuş video veri kümeleri