Giltighet och rättvisa i PISA 2018:s mätning av global kompetens: en argumentbaserad utvärdering via förklarande item-responsmodeller

Varför denna studie betyder något i vardagen

Dagens tonåringar växer upp i en värld där nyheter, vänner och framtida jobb överskrider nationsgränser. Skolor försöker förbereda dem att navigera mellan olika kulturer, sålla bland information online och samarbeta med människor som är annorlunda än de själva. Programme for International Student Assessment (PISA) försökte mäta denna ”globala kompetens” år 2018. Denna studie ställer en enkel men viktig fråga: kan vi lita på de där testresultaten för att avgöra vem som verkligen är globalt kompetent, och är de rättvisa gentemot olika grupper av elever?

Närmare granskning av ett världsomspännande skolprov

PISA:s test om global kompetens 2018 togs av 15-åringar i många länder och betraktades som en viktig indikator på hur väl utbildningssystem förbereder unga för en sammanlänkad värld. Samtidigt har forskare och pedagoger oroat sig för att begreppet global kompetens är svårt att definiera och kan färgas av västerländska perspektiv och kulturella fördomar. Denna artikel zoomar in på de kanadensiska elever som deltog i testet och undersöker noggrant frågorna och resultaten. Författaren använder ett strukturerat giltighetsansats: först frågas om svaren poängsätts konsekvent, sedan om poängen skulle se liknande ut över olika testversioner, om de överensstämmer med andra tecken på global kompetens, och slutligen om de behandlar flickor och pojkar rättvist.

Hur provet och eleverna analyserades

Forskaren använde en modern statistisk metodfamilj som inte bara ser på om elever svarar rätt eller fel, utan också hur egenskaper hos provet och hos eleverna påverkar svårigheten i varje uppgift. PISA:s globalkompetensuppgifter är grupperade i små berättelsebaserade block kallade ”testlets” och fördelas i olika häften, eller former. Studien behandlade varje häftegrupp separat, ifyllde små mängder saknad data med försiktig imputering och kombinerade sedan resultaten över grupperna med hjälp av metaanalys. Parallellt med provpoängen användes elevernas svar på enkätfrågor om tilltro till att hantera globala frågor, respekt för människor från andra kulturer, medvetenhet om tvärkulturell kommunikation och attityder gentemot immigranter.

Vad studien fann om poängkvalitet

Analysen visade att de berättelsebaserade grupperingarna av frågor i sig inte förstörde hur svåra uppgifterna verkade vara. Med andra ord, att placera frågor tillsammans i ett scenario påverkade inte starkt resultaten när den övergripande förmågan väl togs i beaktande. Vissa häften gjorde dock uppgifterna något svårare än andra, vilket tyder på att vilken form en elev fick kan påverka poängen något uppåt eller nedåt. På elevnivå presterade de som rapporterade högre självförtroende i att hantera globala frågor, större respekt för kulturell mångfald och större känslighet för interkulturell kommunikation i regel bättre på de kognitiva uppgifterna. Dessa samband var i stort sett stabila över de olika häftena. Inte alla relaterade egenskaper uppträdde som förväntat: vissa mått på att känna sig globalt sinnad eller medveten om världshändelser hade svaga eller till och med något negativa samband med provprestation, vilket understryker hur komplext och flerskiktat begreppet global kompetens verkligen är.

Kontroll av rättvisa mellan flickor och pojkar

Studien undersökte också om särskilda frågor gav en orättvis fördel åt flickor eller pojkar när den övergripande förmågan kontrollerades. För de flesta uppgifter var skillnaderna mellan könen mycket små och inkonsekventa, vilket betyder att frågorna fungerade på liknande sätt för båda grupperna. Ett fåtal frågor visade dock måttliga eller stora fördelar, oftare till förmån för flickor och ibland för pojkar. Dessa var få till antalet men tillräckligt konsekventa över testformer för att motivera närmare granskning. Avgörande var att det inte fanns något tecken på att testet som helhet var riggat mot något kön, men vissa enskilda frågor kan förbättras eller bytas ut i framtida versioner.

Vad detta betyder för användningen av poäng i global kompetens

För läsare utanför testvärlden är slutsatsen att PISA:s 2018-poäng i global kompetens för kanadensiska elever till största delen är tillförlitliga: de fångar en verklig förmåga kopplad till hur unga tänker om och reagerar i globala och interkulturella situationer, och de gör det på ett i stort sett rättvist sätt. Samtidigt framhäver studien att detaljer i testutformningen — såsom vilket häfte en elev får och hur enkättdrag definieras — kan påverka resultaten subtilt. Den visar att det är möjligt att mäta något så rikt som global kompetens, men att det kräver ständig uppmärksamhet på hur frågor formuleras, hur de grupperas och hur de fungerar för olika typer av elever.

Citering: Yavuz, E. Validity and fairness of the PISA 2018 Global Competence assessment: an argument-based evaluation via explanatory item response models. Humanit Soc Sci Commun 13, 570 (2026). https://doi.org/10.1057/s41599-026-06979-6

Nyckelord: global kompetens, PISA 2018, utbildningsbedömning, testrättvisa, item-responsmodellering