Förbättrad automatisk bedömning av IELTS-skrivning med M‑LoRA-finfina LLAMA‑3 och människodriven PPO-förstärkningsinlärning

Varför smartare hjälp med uppsatser är viktigt

För miljontals människor varje år kan IELTS-examen öppna dörrar till studier, arbete eller immigration utomlands. Många provtagare har dock störst svårigheter med skrivdelen, där det är svårt att få tydlig, pålitlig återkoppling och där det kan vara dyrt att anlita mänskliga handledare. Denna artikel undersöker ett nytt sätt att använda artificiell intelligens inte bara för att poängsätta IELTS-uppsatser, utan också för att ge detaljerade, människoliknande förslag som verkligen hjälper skribenter att förbättras, samtidigt som de hålls nära hur verkliga examinatorer tänker.

Utmaningen i att bedöma skrivande

Att bedöma kvaliteten på en uppsats är mer komplicerat än att kontrollera stavning eller räkna ord. Mänskliga examinatorer ser på hur väl skribenten svarar på uppgiften, hur tydligt idéer är organiserade, hur rikt och korrekt ordförrådet är, och hur korrekt och varierad grammatiken framstår. Befintliga automatiska poängsystem fungerar ofta bra endast för snäva, fasta frågesamlingar och kan ”glömma” hur man bedömer tidigare typer av uppsatser när de utsätts för nya. Stora språkmodeller som GPT‑4 har visat lovande resultat, men när de används direkt har de fortfarande svårt att matcha mänskliga poäng och tenderar att ge generisk, enstorleks‑passar‑alla-feedback.

Att bygga en rik IELTS-skrivdatabas

För att gå bortom dessa begränsningar skapade författarna först en ny privat datamängd med 5 088 verkliga IELTS Writing Task 2-uppsatser skrivna av kinesiska inlärare. Varje uppsats kompletterades med poäng från erfarna IELTS-lärare enligt de fyra officiella kriterierna: Task Response, Coherence and Cohesion, Lexical Resource, och Grammatical Range and Accuracy. Viktigt är att lärarna också gav detaljerad feedback som pekade ut problem som otydliga idéer, klumpiga övergångar mellan meningar eller svagt ordförråd, samt föreslagna omskrivningar. Denna rika annotering går långt utöver typiska publika datamängder och utgör grunden för träning och testning av det nya systemet.

En trestegad intelligent skrivcoach

Det föreslagna systemet bygger på LLaMA‑3, en modern stor språkmodell, förbättrad med en lättviktsfinjusteringsmetod kallad Multi‑task LoRA. I det första steget tränas modellen att hantera flera uppgifter samtidigt: för en given uppsats förutsäger den ett bandpoäng för vart och ett av de fyra IELTS-kriterierna och genererar målinriktade kommentarer för varje område. Separata ”heads” fokuserar på varje egenskap, samtidigt som de delar en gemensam förståelse av texten, vilket hjälper modellen att undvika den vanliga ”katastrofala glömskan” när den ställs inför många olika prompts.

Att lära AI att värdera bra feedback

I det andra steget tränar författarna en separat belöningsmodell som lär sig bedöma kvaliteten på feedback genom att jämföra modellgenererade kommentarer med lärarskrivna sådana. Denna belöningsmodell fungerar som en ersättning för mänskliga examinatorer under träningen. I det tredje steget förfinas huvudsakliga systemet ytterligare med en förstärkningsinlärningsmetod känd som PPO. Här genererar modellen feedback, belöningsmodellen poängsätter hur väl den feedbacken stämmer överens med expertpreferenser, och systemet justerar sitt beteende för att på många cykler röra sig mot högre kvalitet och mer examinatorlika svar.

Vad resultaten betyder för elever och lärare

När det testades uppnådde det nya systemet högre överensstämmelse med mänskliga poäng än kraftfulla alternativ, inklusive GPT‑4 uppmanad på olika sätt, och producerade feedback som automatiska mått och mänskliga bedömare fann närmare expertkommentarer. Medan de numeriska vinsterna i poängnoggrannhet är måttliga, ligger systemets verkliga styrka i att leverera detaljerad, rubrikbaserad och personlig rådgivning som liknar vad en skicklig lärare skulle skriva. För IELTS‑kandidater pekar detta tillvägagångssätt mot prisvärd, alltid tillgänglig skrivhjälp som gör mer än att tilldela ett bandpoäng — den förklarar varför och hur man gör bättre nästa gång.

Citering: Xu, W., Kassim, M.S.S. & Mahmud, R. Enhancing IELTS writing automated scoring with M-LoRA fine-tuned LLAMA-3 and human feedback-driven PPO reinforcement learning. Sci Rep 16, 10865 (2026). https://doi.org/10.1038/s41598-026-43318-w

Nyckelord: automatisk uppsatspoängsättning, IELTS skrivning, stora språkmodeller, utbildningsfeedback, förstärkningsinlärning