Wiarygodność i rzetelność oceny kompetencji globalnej w PISA 2018: ewaluacja oparta na argumentacji za pomocą objaśniających modeli odpowiedzi na zadania

Dlaczego to badanie ma znaczenie dla życia codziennego

Dzisiejsi nastolatkowie dorastają w świecie, w którym wiadomości, przyjaźnie i przyszłe miejsca pracy przekraczają granice państw. Szkoły starają się przygotować ich do poruszania się w różnych kulturach, selekcjonowania informacji w sieci i współpracy z osobami odmiennymi od siebie. Program Międzynarodowej Oceny Umiejętności Uczniów (PISA) próbował zmierzyć w 2018 r. tę „kompetencję globalną”. Niniejsze badanie stawia proste, ale istotne pytanie: czy możemy ufać wynikom tego testu jako miarze rzeczywistej kompetencji globalnej i czy są one sprawiedliwe wobec różnych grup uczniów?

Uważne spojrzenie na światowy test szkolny

Test PISA 2018 z zakresu kompetencji globalnej został przeprowadzony wśród 15-latków w wielu krajach i traktowany był jako kluczowy wskaźnik tego, jak systemy edukacyjne przygotowują młodych ludzi do powiązanego ze sobą świata. Jednak badacze i praktycy edukacji obawiali się, że pojęcie kompetencji globalnej jest trudne do precyzyjnego zdefiniowania i może być naznaczone zachodnimi punktami widzenia oraz uprzedzeniami kulturowymi. Artykuł skupia się na kanadyjskich uczniach, którzy przystępowali do testu, i dokładnie analizuje zadania oraz wyniki. Autor stosuje uporządkowane podejście do walidacji: najpierw sprawdza, czy odpowiedzi są punktowane spójnie, następnie czy wyniki byłyby podobne w różnych wersjach testu, czy zgadzają się z innymi wskaźnikami kompetencji globalnej, a wreszcie czy traktują rzetelnie chłopców i dziewczęta.

Jak analizowano test i uczniów

Badacz zastosował nowoczesną rodzinę metod statystycznych, które badają nie tylko to, czy uczniowie odpowiadają poprawnie lub niepoprawnie, lecz także jak cechy testu i cechy uczniów wpływają na trudność poszczególnych zadań. Zadania kompetencji globalnej w PISA są pogrupowane w małe zestawy oparte na krótkich historiach, zwane „testletami”, i podawane w różnych książeczkach egzaminacyjnych, czyli formach. Badanie traktowało każdą grupę książeczek oddzielnie, uzupełniało niewielkie braki danych ostrożną imputacją, a następnie łączyło wyniki między grupami za pomocą metaanalizy. Oprócz wyników testowych wykorzystano także odpowiedzi uczniów na pytania ankietowe dotyczące pewności siebie w radzeniu sobie z kwestiami globalnymi, szacunku dla osób z innych kultur, świadomości komunikacji międzykulturowej oraz postaw wobec imigrantów.

Co badanie wykazało o jakości wyników

Analiza wykazała, że grupowanie zadań w oparciu o historie samo w sobie nie zniekształcało znacząco postrzeganej trudności zadań. Innymi słowy, samo umieszczenie pytań w scenariuszu nie wpływało silnie na wyniki, gdy uwzględniono ogólną zdolność. Niektóre książeczki jednak sprawiały, że zadania były nieco trudniejsze niż w innych, co sugeruje, że forma testu, którą otrzymał uczeń, może nieznacznie przesunąć wynik w górę lub w dół. Na poziomie ucznia osoby, które deklarowały wyższą pewność siebie w radzeniu sobie z problemami globalnymi, większy szacunek dla różnorodności kulturowej i większą wrażliwość na komunikację międzykulturową, zazwyczaj osiągały lepsze wyniki w zadaniach poznawczych. Powiązania te były na ogół stabilne w różnych książeczkach. Nie wszystkie natomiast mierzone cechy zachowywały się zgodnie z oczekiwaniami: niektóre wskaźniki poczucia globalnej świadomości lub zainteresowania sprawami świata miały słabe, a nawet nieco ujemne powiązania z wynikami testu, co podkreśla, jak złożona i wielowarstwowa jest kompetencja globalna.

Sprawdzanie równości traktowania dziewcząt i chłopców

Badanie sprawdzało również, czy konkretne pytania dają niesprawiedliwą przewagę dziewczętom lub chłopcom po skorygowaniu o ogólną zdolność. Dla większości zadań różnice między płciami były minimalne i nieregularne, co oznacza, że pytania zachowywały się podobnie dla obu grup. Kilka pytań wykazało umiarkowane lub duże przewagi, częściej faworyzując dziewczęta, czasami chłopców. Były ich nieliczne, ale wystarczająco spójne w różnych formach testu, by zasługiwać na bliższe przyjrzenie się. Istotne jest to, że nie było oznak, by cały test systematycznie faworyzował którąkolwiek płeć, choć niektóre pojedyncze pytania można by udoskonalić lub zastąpić w przyszłych wersjach.

Co to oznacza dla używania wyników z kompetencji globalnej

Dla czytelników spoza świata testów najważniejszy wniosek jest taki, że wyniki PISA 2018 z zakresu kompetencji globalnej dla uczniów w Kanadzie są w dużej mierze wiarygodne: odzwierciedlają rzeczywistą zdolność powiązaną z tym, jak młodzi ludzie myślą o sytuacjach globalnych i międzykulturowych oraz jak na nie reagują, i robią to w zasadzie w szeroko sprawiedliwy sposób. Jednocześnie badanie podkreśla, że szczegóły konstrukcji testu — takie jak to, którą książeczkę otrzymał uczeń, oraz jak zdefiniowano cechy ankietowe — mogą subtelnie kształtować wyniki. Pokazuje to, że mierzenie czegoś tak bogatego jak kompetencja globalna jest możliwe, ale wymaga stałej uwagi przy formułowaniu pytań, ich grupowaniu i badaniu, jak działają dla różnych typów uczniów.

Cytowanie: Yavuz, E. Validity and fairness of the PISA 2018 Global Competence assessment: an argument-based evaluation via explanatory item response models. Humanit Soc Sci Commun 13, 570 (2026). https://doi.org/10.1057/s41599-026-06979-6

Słowa kluczowe: kompetencje globalne, PISA 2018, ocena edukacyjna, sprawiedliwość testu, modelowanie odpowiedzi na zadania