Validade e justiça da avaliação de Competência Global do PISA 2018: uma avaliação baseada em argumentos via modelos explicativos de resposta ao item

Por que este estudo importa para o cotidiano

Os adolescentes de hoje crescem em um mundo onde notícias, amizades e futuros empregos cruzam fronteiras nacionais. As escolas tentam prepará‑los para navegar entre culturas diferentes, avaliar informações online e trabalhar com pessoas diferentes deles. O Programa Internacional de Avaliação de Estudantes (PISA) procurou medir essa "competência global" em 2018. Este estudo faz uma pergunta simples, porém importante: podemos confiar nessas pontuações para dizer quem é realmente competente globalmente, e elas são justas para diferentes grupos de estudantes?

Examinando de perto um teste escolar mundial

O teste de competência global do PISA 2018 foi aplicado a jovens de 15 anos em muitos países e foi tratado como um indicador-chave de quão bem os sistemas educacionais preparam os jovens para um mundo interconectado. Ainda assim, pesquisadores e educadores têm se preocupado que o conceito de competência global seja difícil de definir e possa estar marcado por perspectivas ocidentais e vieses culturais. Este artigo foca nos estudantes canadenses que fizeram o teste e inspeciona atentamente as questões e os resultados. O autor usa uma abordagem estruturada da validade: primeiro perguntando se as respostas são pontuadas de maneira consistente, depois se as pontuações seriam semelhantes entre diferentes versões do teste, se elas concordam com outros sinais de competência global e, finalmente, se tratam meninos e meninas de forma justa.

Como o teste e os estudantes foram analisados

O pesquisador utilizou uma família moderna de métodos estatísticos que observa não apenas se os estudantes acertam ou erram itens, mas também como características do teste e dos estudantes afetam a dificuldade de cada questão. Os itens de competência global do PISA são agrupados em pequenos conjuntos baseados em histórias chamados “testlets” e são administrados em diferentes cadernos, ou formas. O estudo tratou cada grupo de cadernos separadamente, preencheu pequenas quantidades de dados ausentes com imputação cautelosa e então combinou os resultados entre os grupos usando meta‑análise. Além das pontuações do teste, usaram‑se as respostas dos estudantes a perguntas de pesquisa sobre confiança para lidar com questões globais, respeito por pessoas de outras culturas, consciência da comunicação intercultural e atitudes em relação a imigrantes.

O que o estudo encontrou sobre a qualidade das pontuações

A análise mostrou que os agrupamentos baseados em histórias das questões não distorceram, por si só, a aparente dificuldade dos itens. Em outras palavras, simplesmente colocar perguntas juntas em um cenário não influenciou fortemente os resultados uma vez considerada a habilidade geral. Alguns cadernos, entretanto, tornaram os itens ligeiramente mais difíceis que outros, sugerindo que a forma que um estudante recebeu pode ajustar as pontuações para cima ou para baixo um pouco. No nível do estudante, aqueles que relataram maior confiança em lidar com questões globais, mais respeito pela diversidade cultural e maior sensibilidade à comunicação intercultural tenderam a ter melhor desempenho nas tarefas cognitivas. Esses vínculos foram, em geral, estáveis entre os diferentes cadernos. Nem toda característica relacionada comportou‑se como esperado: algumas medidas de sentimento global ou consciência de questões mundiais tiveram conexões fracas ou até ligeiramente negativas com o desempenho no teste, ressaltando quão complexa e multifacetada a competência global realmente é.

Verificando a justiça entre meninas e meninos

O estudo também examinou se questões específicas davam vantagem injusta a meninas ou meninos uma vez controlada a habilidade geral. Para a maioria dos itens, as diferenças entre os gêneros foram pequenas e inconsistentes, o que significa que as questões se comportaram de modo semelhante para ambos os grupos. Um punhado de questões mostrou vantagens moderadas ou grandes, mais frequentemente favorecendo meninas e ocasionalmente meninos. Essas foram poucas em número, mas consistentes o suficiente entre as formas do teste para justificar uma revisão mais detalhada. Crucialmente, não houve sinal de que o teste como um todo estivesse tendencioso contra qualquer um dos gêneros, mas algumas questões individuais poderiam ser refinadas ou substituídas em versões futuras.

O que isso significa para o uso das pontuações de competência global

Para leitores fora do mundo dos testes, a conclusão é que as pontuações de competência global do PISA 2018 para estudantes canadenses são em grande parte sólidas: elas capturam uma habilidade real ligada à forma como os jovens pensam e respondem a situações globais e interculturais, e o fazem de maneiras amplamente justas. Ao mesmo tempo, o estudo destaca que detalhes do desenho do teste — como qual caderno um estudante recebe e como traços da pesquisa são definidos — podem moldar os resultados de forma sutil. Mostra que medir algo tão rico quanto a competência global é possível, mas exige atenção constante sobre como as questões são redigidas, como são agrupadas e como funcionam para diferentes tipos de estudantes.

Citação: Yavuz, E. Validity and fairness of the PISA 2018 Global Competence assessment: an argument-based evaluation via explanatory item response models. Humanit Soc Sci Commun 13, 570 (2026). https://doi.org/10.1057/s41599-026-06979-6

Palavras-chave: competência global, PISA 2018, avaliação educacional, justiça do teste, modelagem de resposta ao item