Достоверность и справедливость оценки глобальной компетентности в PISA 2018: оценка на основе аргументов с использованием объяснительных моделей отклика на задания

Почему это исследование важно для повседневной жизни

Современные подростки взрослеют в мире, где новости, друзья и будущая работа пересекают национальные границы. Школы пытаются подготовить их к взаимодействию с разными культурами, к отбору информации в интернете и работе с людьми, отличными от них самих. Программа международной оценки учащихся (PISA) попыталась измерить эту «глобальную компетентность» в 2018 году. В этом исследовании ставится простой, но важный вопрос: можно ли доверять этим результатам, когда речь идёт о том, кто на самом деле обладает глобальной компетентностью, и справедливы ли они для разных групп учащихся?

Внимательное изучение международного школьного теста

Тест PISA 2018 по глобальной компетентности проходили 15‑летние школьники во многих странах, и его рассматривали как ключевой индикатор того, насколько хорошо системы образования готовят молодёжь к взаимосвязанному миру. Однако исследователи и педагоги выражали обеспокоенность, что понятие глобальной компетентности трудно чётко определить и что оно может быть окрашено западными представлениями и культурными предвзятостями. В этой работе внимание сосредоточено на канадских учащихся, проходивших тест, и детально проанализированы задания и результаты. Автор использует структурированный подход к валидности: сначала проверяет, однородно ли оцениваются ответы, затем — схожи ли баллы между различными формами теста, согласуются ли они с другими признаками глобальной компетентности и, наконец, справедливы ли они по отношению к мальчикам и девочкам.

Как анализировали тест и учащихся

Исследователь применил современное семейство статистических методов, которые учитывают не только то, верно ли ученик ответил на задание, но и то, как характеристики заданий и характеристики учащихся влияют на сложность каждого вопроса. Задания PISA по глобальной компетентности сгруппированы в небольшие сюжетные наборы, называемые «тестлетами», и представлены в разных буклетах, или формах. В исследовании каждую группу буклетов рассматривали отдельно, небольшие пропуски данных аккуратно заполняли методом осторожной имputation, а затем объединяли результаты по группам с помощью метаанализа. Наряду с результатами теста использовались ответы учащихся на опросные вопросы о уверенности в решении глобальных проблем, уважении к людям из других культур, осведомлённости о межкультурной коммуникации и отношении к иммигрантам.

Что показало исследование о качестве баллов

Анализ продемонстрировал, что сюжетные группировки вопросов сами по себе не искажали восприятие сложности заданий. Другими словами, простое объединение вопросов в сценарий не сильно влияло на результаты после учёта общей способности. Однако некоторые буклеты делали задания немного сложнее по сравнению с другими, что указывает на то, что форма теста, которую получил ученик, может слегка смещать баллы вверх или вниз. На уровне учащихся те, кто сообщал о большей уверенности в решении глобальных вопросов, большем уважении к культурному разнообразию и большей чувствительности к межкультурной коммуникации, как правило, показывали лучшие результаты в когнитивных заданиях. Эти связи в целом были устойчивы в разных буклетах. Не все связанные черты вели себя ожидаемо: некоторые показатели ощущения глобальной вовлечённости или осведомлённости о мировых проблемах имели слабую или даже слегка отрицательную связь с результатами теста, что подчёркивает, насколько сложной и многослойной является сама глобальная компетентность.

Проверка справедливости между девочками и мальчиками

Исследование также проверяло, не дают ли отдельные вопросы несправедливого преимущества девочкам или мальчикам при контроле общей способности. Для большинства заданий различия между полами были незначительными и непоследовательными, то есть вопросы вели себя похоже для обеих групп. Небольшое количество заданий показало умеренные или значительные преимущества, чаще в пользу девочек и иногда в пользу мальчиков. Их было немного, но они были достаточно устойчивы между формами теста, чтобы потребовать более тщательного рассмотрения. Важно, что не было признаков того, что тест в целом был предвзят против какого‑либо пола, но некоторые отдельные задания можно было бы уточнить или заменить в будущих версиях.

Что это значит для использования баллов глобальной компетентности

Для читателей вне мира тестирования главный вывод таков: баллы PISA 2018 по глобальной компетентности для канадских учащихся в основном надёжны: они отражают реальную способность, связанную с тем, как молодые люди думают и реагируют в глобальных и межкультурных ситуациях, и делают это в общем справедливо. В то же время исследование подчёркивает, что детали конструкции теста — например, какой буклет получил ученик и как определены опросные характеристики — могут тонко влиять на результаты. Оно показывает, что измерять такое сложное явление, как глобальная компетентность, возможно, но это требует постоянного внимания к формулировке вопросов, их группировке и тому, как они работают для разных типов учащихся.

Цитирование: Yavuz, E. Validity and fairness of the PISA 2018 Global Competence assessment: an argument-based evaluation via explanatory item response models. Humanit Soc Sci Commun 13, 570 (2026). https://doi.org/10.1057/s41599-026-06979-6

Ключевые слова: глобальная компетентность, PISA 2018, оценка в образовании, справедливость теста, моделирование отклика на задания