Udoskonalanie automatycznego oceniania pisemnej części IELTS za pomocą dostrojonego M‑LoRA LLAMA‑3 i uczenia PPO napędzanego opinią ludzi

Dlaczego inteligentniejsza pomoc przy pisaniu ma znaczenie

Dla milionów osób każdego roku egzamin IELTS może otworzyć drzwi do nauki, pracy lub emigracji za granicę. Jednak wielu zdających ma największe trudności z częścią pisemną, gdzie uzyskanie jasnej i wiarygodnej informacji zwrotnej jest trudne, a opłacenie korepetytorów bywa kosztowne. W artykule badano nowy sposób wykorzystania sztucznej inteligencji nie tylko do oceniania esejów IELTS, ale także do udzielania szczegółowych, przypominających ludzkie sugestii, które rzeczywiście pomagają poprawić umiejętności piszącego, pozostając jednocześnie blisko sposobu myślenia prawdziwych egzaminatorów.

Trudność oceniania pisania

Ocenianie jakości eseju jest bardziej skomplikowane niż sprawdzanie pisowni czy liczenie słów. Egzaminatorzy zwracają uwagę na to, jak dobrze autor odpowiada na pytanie, jak klarownie zorganizowane są pomysły, jak bogate i trafne jest słownictwo oraz jak poprawna i urozmaicona jest gramatyka. Istniejące systemy automatycznego oceniania często działają dobrze tylko dla wąskich, stałych zestawów zadań i mogą „zapominać”, jak oceniać wcześniejsze typy esejów po zetknięciu się z nowymi. Duże modele językowe, takie jak GPT‑4, pokazały potencjał, ale używane bezpośrednio nadal mają trudności z dorównaniem ocenom ludzkim i zwykle generują ogólnikowe, uniwersalne uwagi.

Budowanie bogatego zbioru danych z pisania IELTS

Aby przekroczyć te ograniczenia, autorzy najpierw stworzyli nowy prywatny zbiór danych zawierający 5 088 rzeczywistych esejów z Zadania 2 z części pisemnej IELTS napisanych przez chińskich uczących się. Każdy esej był opatrzony ocenami doświadczonych nauczycieli IELTS według czterech oficjalnych kryteriów: Task Response, Coherence and Cohesion, Lexical Resource oraz Grammatical Range and Accuracy. Co ważne, nauczyciele dostarczyli także precyzyjną informację zwrotną wskazującą problemy, takie jak niejasne pomysły, niezgrabne łączenia zdań czy słabe słownictwo, oraz proponowane przeredagowania. To bogate oznaczenie znacznie wykracza poza typowe publiczne zbiory i stanowi podstawę do trenowania i testowania nowego systemu.

Trzystopniowy inteligentny trener pisania

Proponowany system opiera się na LLaMA‑3, nowoczesnym dużym modelu językowym, udoskonalonym przy użyciu lekkiej metody strojenia zwanej Multi‑task LoRA. W pierwszym kroku model jest szkolony do wykonywania kilku zadań jednocześnie: dla dowolnego eseju przewiduje ocenę (band score) dla każdego z czterech kryteriów IELTS i generuje ukierunkowane komentarze dla każdej dziedziny. Oddzielne „głowy” koncentrują się na poszczególnych cechach, jednocześnie dzieląc wspólne rozumienie tekstu, co pomaga modelowi unikać typowego „katastrofalnego zapominania” przy rozmaitych promptach.

Nauczanie SI wartości dobrej informacji zwrotnej

W drugim kroku autorzy trenują oddzielny model nagrody, który uczy się oceniać jakość samej informacji zwrotnej, porównując komentarze generowane przez model z komentarzami napisanymi przez nauczycieli. Ten model nagrody pełni rolę zastępcy ludzkich egzaminatorów podczas treningu. W trzecim kroku główny system jest dalej udoskonalany przy użyciu metody uczenia ze wzmocnieniem znanej jako PPO. Model generuje wtedy informację zwrotną, model nagrody ocenia, jak dobrze ta informacja zgadza się z preferencjami ekspertów, a system dostosowuje swoje zachowanie, aby w kolejnych cyklach zbliżać się do odpowiedzi wyższej jakości, bardziej przypominających egzaminatorów.

Co wyniki oznaczają dla uczących się i nauczycieli

W testach nowy system osiągnął wyższą zgodność z ocenami ludzkimi niż silne alternatywy, w tym GPT‑4 z różnymi promptami, i generował informacje zwrotne, które automatyczne miary i ludzie‑sędziowie uznali za bliższe komentarzom ekspertów. Choć liczbowy wzrost dokładności ocen jest umiarkowany, prawdziwą siłą systemu jest dostarczanie szczegółowych, opartych na rubryce i spersonalizowanych porad, które przypominają to, co napisałby doświadczony nauczyciel. Dla kandydatów na IELTS podejście to wskazuje drogę do przystępnego cenowo, dostępnego zawsze wsparcia w pisaniu, które robi więcej niż przyznawanie punktu band — wyjaśnia dlaczego i jak poprawić się następnym razem.

Cytowanie: Xu, W., Kassim, M.S.S. & Mahmud, R. Enhancing IELTS writing automated scoring with M-LoRA fine-tuned LLAMA-3 and human feedback-driven PPO reinforcement learning. Sci Rep 16, 10865 (2026). https://doi.org/10.1038/s41598-026-43318-w

Słowa kluczowe: automatyczne ocenianie esejów, pisanie na IELTS, duże modele językowe, informacja zwrotna w edukacji, uczenie ze wzmocnieniem