İnsan geri bildirimi odaklı PPO takviye öğrenimi ve M‑LoRA ile ince ayarlanmış LLAMA‑3 kullanarak IELTS yazma otomatik puanlamasını geliştirme

Neden Daha Akıllı Makale Desteği Önemli

Her yıl milyonlarca insan için IELTS sınavı yurtdışında eğitim, çalışma veya göç için kapılar açabilir. Buna karşın birçok aday yazma bölümünde zorlanır; net ve güvenilir geri bildirim almak zordur ve insan öğretmenlere ödemek maliyetli olabilir. Bu makale, yapay zekâyı yalnızca IELTS makalelerini puanlamak için değil, aynı zamanda yazarların gerçekten gelişmesine yardımcı olan, insan benzeri ayrıntılı öneriler vermek için kullanmanın yeni bir yolunu araştırıyor; üstelik bunlar gerçek sınav görevlilerinin düşünce tarzına yakın tutuluyor.

Yazıyı Değerlendirmenin Zorluğu

Bir makalenin kalitesini değerlendirmek yazım denetlemekten veya kelime saymaktan daha karmaşıktır. İnsan sınav görevlileri, yazarın soruyu ne kadar iyi yanıtladığına, fikirlerin ne kadar açık düzenlendiğine, kelime dağarcığının zenginliğine ve doğruluğuna ve dilbilgisinin doğruluğuna ve çeşitliliğine bakar. Mevcut otomatik puanlama sistemleri genellikle dar, sabit soru setlerinde iyi çalışır ve yeni tür makalelere maruz kaldıklarında önceki değerlendirmenin nasıl yapıldığını “unutabilir”. GPT‑4 gibi büyük dil modelleri umut vaat etse de, doğrudan kullanıldıklarında insan puanlarıyla eşleşmekte hâlâ zorlanmakta ve genellikle herkese uyan, sıradan geri bildirimler verme eğilimindedirler.

Zengin Bir IELTS Yazma Veri Seti Oluşturma

Bu sınırlamaların ötesine geçmek için yazarlar öncelikle Çinli öğrenenler tarafından yazılmış 5.088 gerçek IELTS Yazma Görev 2 makalesinden oluşan yeni bir özel veri seti oluşturdular. Her makale, dört resmi kriter için deneyimli IELTS öğretmenlerinden alınmış puanlarla birlikte geldi: Task Response (Görev Yanıtı), Coherence and Cohesion (Tutarlılık ve Bağlaşıklık), Lexical Resource (Sözcüksel Kaynak) ve Grammatical Range and Accuracy (Dilbilgisel Çeşitlilik ve Doğruluk). Önemli olarak, öğretmenler ayrıca belirsiz fikirler, cümleler arası garip bağlantılar veya zayıf kelime kullanımı gibi sorunları işaret eden ayrıntılı geri bildirimler ve önerilen yeniden yazımlar sağladılar. Bu zengin açıklama, tipik açık veri setlerinin çok ötesine geçer ve yeni sistemin eğitimi ve testi için temel oluşturur.

Üç Adımlı Akıllı Yazma Koçu

Önerilen sistem, Multi‑task LoRA adı verilen hafif bir ince ayar yöntemi kullanılarak geliştirilmiş modern bir büyük dil modeli olan LLaMA‑3 üzerine kuruludur. İlk adımda model, aynı anda birkaç görevi yerine getirecek şekilde eğitilir: herhangi bir makale için dört IELTS kriterinden her biri adına bir bant puanı tahmin eder ve her alan için hedeflenmiş yorumlar üretir. Ayrı “başlıklar” her özelliğe odaklanırken, metinle ilgili ortak bir anlayışı paylaşırlar; bu da modelin çok farklı istemlerle karşılaştığında yaygın olan “felaket unutmayı” önlemeye yardımcı olur.

Yapay Zekâya İyi Geri Bildirimi Değer Vermeyi Öğretmek

İkinci adımda yazarlar, model tarafından üretilen yorumları öğretmen yazılarıyla karşılaştırarak geri bildirimin kalitesini değerlendirmeyi öğrenen ayrı bir ödül modeli eğitirler. Bu ödül modeli eğitim sırasında insan sınav görevlilerinin yerini tutar. Üçüncü adımda ise ana sistem, PPO olarak bilinen bir takviye öğrenimi yöntemi kullanılarak daha da rafine edilir. Burada model geri bildirim üretir, ödül modeli bu geri bildirimin uzman tercihleriyle ne kadar uyumlu olduğunu puanlar ve sistem çok sayıda döngü boyunca daha yüksek kaliteli, görevli‑benzeri yanıtlara doğru davranışını ayarlar.

Sonuçların Öğrenciler ve Öğretmenler İçin Anlamı

Test edildiğinde yeni sistem, farklı yollarla yönlendirilen GPT‑4 de dahil olmak üzere güçlü alternatiflere kıyasla insan puanlarıyla daha yüksek uyum sağladı ve otomatik ölçümler ile insan hakemlerin uzman yorumlarına daha yakın bulduğu geri bildirimler üretti. Sayısal olarak puanlama doğruluğundaki artışlar ölçülü olsa da, sistemin gerçek gücü ayrıntılı, rubrik tabanlı ve kişiselleştirilmiş tavsiyeler sunmasında yatıyor; bu tavsiyeler yetkin bir öğretmenin yazabileceğine benziyor. IELTS adayları için bu yaklaşım, yalnızca bir bant puanı atamanın ötesine geçen — nedenini açıklayan ve bir sonraki sefere nasıl daha iyi olabileceklerini gösteren — uygun maliyetli, her zaman erişilebilir yazma desteğine işaret ediyor.

Atıf: Xu, W., Kassim, M.S.S. & Mahmud, R. Enhancing IELTS writing automated scoring with M-LoRA fine-tuned LLAMA-3 and human feedback-driven PPO reinforcement learning. Sci Rep 16, 10865 (2026). https://doi.org/10.1038/s41598-026-43318-w

Anahtar kelimeler: otomatik makale puanlama, IELTS yazma, büyük dil modelleri, eğitsel geri bildirim, takviye öğrenimi