Geliştirilmiş BERT ve SVM ile İngilizce çeviri eğitimi için hibrit akıllı değerlendirme modeli

Neden daha akıllı çeviri notlandırması önemli?

Her yıl dil öğretmenleri öğrencilerin çevirilerini değerlendirmek için sayısız saat harcar. Bir cümlenin “yeterince iyi” olup olmadığına karar vermek yavaş, öznel ve öğretmenden öğretmene büyük ölçüde değişebilir. Bu makale, yapay zekânın bu yükü paylaşıp paylaşamayacağını—hızlı, tutarlı puanlar ve nelerin yanlış gittiğine dair ipuçları sunarak, öğretmenin yerini almadan—araştırıyor. Eğitim ortamında İngilizce çevirilerin kalitesini değerlendirmek için özel olarak tasarlanmış BERT-SVM EduScore adlı yeni bir bilgisayar modelini sunuyor.

Yüzeysel sözcük eşleştirmeden daha derin anlayışa

On yıllardır bilgisayarlar çevirileri çoğunlukla referans cevapla kaç kelime veya kısa ifade örtüştüğünü sayarak değerlendiriyor. BLEU veya METEOR gibi bilinen araçlar bunu çok hızlı yapıyor, ancak doğal dilin esnekliğiyle başa çıkmakta zorlanıyorlar: iki cümle çok farklı sözcüklerle aynı anlamı ifade edebilir. Öğrencilerin eşanlamlılar ve değişik cümle yapıları denediği sınıf ortamında, bu eski tarz ölçütler geçerli yeniden ifade biçimlerini haksız yere cezalandırabilir ve belirli hatalar hakkında az rehberlik sunar. Bu nedenle araştırmacılar, yüzey sözcükler yerine anlamları karşılaştıran daha yeni yöntemlere, büyük metin koleksiyonları üzerinde eğitilmiş güçlü dil modellerine yönelmişlerdir.

Sınıflar için tasarlanmış hibrit bir model

Önerilen BERT-SVM EduScore sistemi iki fikri birleştirir: derin dil anlayışı ve klasik, sağlam istatistikler. Önce, geliştirilmiş bir BERT dil modeli üç metin parçasını okur: orijinal cümle, öğrencinin çevirisi ve mevcutsa bir referans çeviri. BERT bunları yalnızca hangi kelimelerin bulunduğunu değil, anlamların ne kadar örtüştüğünü de yansıtan zengin sayısal bir özet hâline getirir. Bunun üzerine sistem, öğretmenlerin önem verdiği küçük bir el yapımı denetleme kümesi ekler—örneğin teknik terimlerin tutarlı çevrilip çevrilmediği, sayıların ve birimlerin korunup korunmadığı, noktalamanın mantıklı olup olmadığı ve çevirinin uzunluğunun orijinaliyle uyumlu olup olmadığı gibi.

Sistemin öğretmen gibi puan vermeyi nasıl öğrendiği

Bu sinyaller daha sonra sınırlı veriyle iyi çalışmasıyla bilinen bir algoritma ailesi olan Destek Vektör Makineleri’ne (SVM) beslenir. Bir bölüm genel skoru tahmin eder; diğer bölümler doğruluk veya akıcılık gibi alanlar için ayrı puanlar üretebilir veya çevirileri kalite bantlarına ayırabilir. Modelin sınıf tarzı dile uyum sağlamasına yardımcı olmak için yazarlar önce BERT’i öğrenci çalışmalarına benzer metinler üzerinde yeniden eğitir—buna alan uyarlaması (domain adaptation) denir. Ayrıca BERT’in benzerlik ve farkı ayırt etme duyusunu, iyi ve hafifçe düzenlenmiş kötü sürümleri ayırt etme pratiği yaptırarak keskinleştirirler. Son olarak, COMET veya BLEURT gibi yüksek kaliteli otomatik ölçütler mevcut olduğunda, sistem bazı yargılarını taklit etmeyi öğrenir; böylece bu araçların güçlü yönlerinden faydalanırken insan değerlendirmelerine göre ayarlı kalır.

Modeli teste sokmak

Araştırmacılar BERT-SVM EduScore’u insan tarafından puanlanmış İngilizce–Çince makine çevirilerini içeren büyük bir açık veri kümesi üzerinde değerlendirir. Bunlar öğrenci ödevi olmasa da cümle düzeyindeki puanlamaları sınıf notlandırmasına benzer ve gerçekçi bir stres testi sağlar. Yeni sistem, geleneksel kelime tabanlı puanlar, daha yeni anlam tabanlı puanlar ve birkaç güçlü sinirsel modelle karşılaştırılır. Sadece insan yargılarıyla daha yakın bir uyum göstermeyip—daha yüksek uyum ve daha küçük ortalama hatalar sunarak—ayrıca standart grafik donanımında yaklaşık saniyede 44 cümleyi işleyebilecek kadar hızlı çalışır. Dikkatli deneyler, BERT’i doğru türdeki metne uyarlamanın en büyük artışı sağladığını, ekstra öğrenme tekniklerinin ise sistemi belirgin şekilde yavaşlatmadan istikrarlı, daha küçük kazançlar verdiğini gösterir.

Bu öğretmenler ve öğrenciler için ne anlama gelebilir?

Sade bir ifadeyle çalışma, derin öğrenme ile klasik yöntemlerin özenle tasarlanmış bir harmanının mevcut otomatik araçlardan daha güvenilir çeviri notları verebileceğini ve gerçek zamanlı sınıf kullanımına yeterince hızlı kalabileceğini gösteriyor. BERT-SVM EduScore henüz insan öğretmenlerin yerine tak-çalıştır bir yedek değildir: yalnızca makine çevirileri üzerinde test edilmiştir, gerçek öğrenci işleri üzerinde denenmemiştir ve sınıf denemeleri veya adalet (fairness) kontrollerinden geçmemiştir. Ancak sonuçlar, böyle bir sistemin öğretmenlere sabit puanlar ve muhtemel sorunları—örneğin yanlış çevrilmiş terminoloji veya eksik sayılar—vurgulayarak yardımcı olabileceğini; böylece insan geri bildiriminin çevirinin daha derin, yaratıcı yönlerine odaklanabileceğini düşündürmektedir.

Atıf: Lin, C. A hybrid intelligent assessment model for English translation education with improved BERT and SVM. Sci Rep 16, 5466 (2026). https://doi.org/10.1038/s41598-026-35042-2

Anahtar kelimeler: çeviri değerlendirmesi, dil eğitimi, BERT, destek vektör makineleri, kalite tahmini