תוקף והגינות של הערכת המיומנות הגלובלית ב‑PISA 2018: הערכה מבוססת טיעון באמצעות דגמי תגובה לפריטים הסבריים

מדוע המחקר הזה חשוב לחיי היומיום

הנוער של היום גדל בעולם שבו חדשות, חברים ומקצועות עתידיים חוצים גבולות לאומיים. בתי ספר מנסים להכין אותם לנווט בין תרבויות שונות, לסנן מידע מקוון ולעבוד עם אנשים השונים מהם. תוכנית הערכת התלמידים הבינלאומית (PISA) ניסתה למדוד את ה"מיומנות הגלובלית" הזו ב‑2018. מחקר זה שואל שאלה פשוטה אך חשובה: האם ניתן להאמין לציונים אלה כשמדברים על מי באמת מיומן גלובלית, והאם הם הוגנים כלפי קבוצות שונות של תלמידים?

מבט מקרוב על מבחן בתי ספר עולמי

מבחן המיומנות הגלובלית של PISA ב‑2018 הועבר לתלמידים בני 15 במספר מדינות ונתפס כאינדיקטור מרכזי עד כמה מערכות חינוך מכינות צעירים לעולם מקושר. יחד עם זאת, חוקרים ומחנכים חששו שמושג המיומנות הגלובלית קשה להגדרה ועלול להיות מושפע מנקודות מבט מערביות והטיות תרבותיות. מאמר זה מתמקד בתלמידים הקנדים שניגשו למבחן ובוחן בקפדנות את השאלות והתוצאות. המחבר משתמש בגישה מובנית לתוקף: תחילה בודק האם התשובות מדורגות בעקביות, לאחר מכן האם הציונים יהיו דומים בין גרסאות מבחן שונות, האם הם מתיישבים עם סימנים אחרים למיומנות גלובלית ולבסוף האם הם מתייחסים לבנים ובנות באופן הוגן.

כיצד נותחו המבחן והתלמידים

החוקר השתמש במשפחה סטטיסטית מודרנית של שיטות שבוחנת לא רק האם תלמידים עונים נכונה או לא, אלא גם כיצד תכונות של המבחן ותכונות של התלמידים משפיעות על הקושי של כל שאלה. הפריטים של המיומנות הגלובלית ב‑PISA מקובצים למערכי סיפור קטנים הנקראים "טסטלטים" ומועברים בספרי מבחן שונים, או בגרסאות. המחקר טפל בכל קבוצת גרסאות בנפרד, השלימו מעט נתונים חסרים באימפוטציה זהירה, ואז שילב תוצאות בין הקבוצות באמצעות מטא‑אנליזה. לצד ציוני המבחן נעשה שימוש בתשובות תלמידים לשאלוני סקר על ביטחון בהתמודדות עם סוגיות גלובליות, כבוד לאנשים מתרבויות אחרות, מודעות לתקשורת בין‑תרבותית והתייחסות למהגרים.

ממצאיה של המחקר לגבי איכות הציונים

הניתוח הראה כי הקיבוץ של השאלות לסיפורים לא עיוות בפני עצמו את מידת הקושי של הפריטים. במילים אחרות, הצבת שאלות יחד בתרחיש לא הטתה את התוצאות באופן חזק לאחר שנלקחה בחשבון היכולת הכוללת. עם זאת, בחלק מהספרים הפריטים היו מעט קשים יותר מאשר באחרים, מה שמרמז שהגרסה שקיבל התלמיד יכולה לדחוף את הציון מעט מעלה או מטה. ברמת התלמידים, אלה שדיווחו על ביטחון גבוה יותר בהתמודדות עם סוגיות גלובליות, כבוד רב יותר למגוון תרבותי ורגישות גבוהה יותר לתקשורת בין‑תרבותית נטו להצטיין יותר במשימות הקוגניטיביות. הקשרים הללו היו בדרך כלל יציבים בין הגרסאות השונות. לא כל תכונה קשורה התנהגה כצפוי: כמה מדדים של תחושה גלובלית או מודעות לנושאי העולם הראו קשרים חלשים או אף מעט שליליים עם ביצועי המבחן, מה שמדגיש עד כמה מיומנות גלובלית היא מורכבת ורב‑שכבתית.

בדיקת ההגינות בין בנות לבנים

המחקר בדק גם האם פריטים מסוימים העניקו יתרון לא הוגן לבנות או לבנים לאחר בקרה על היכולת הכוללת. ברוב הפריטים, ההבדלים בין המגדרים היו זניחים ולא אחידים, כלומר הפריטים התנהגו בדומה לשתי הקבוצות. קומץ פריטים הראה יתרונות מתונים או גדולים, לעיתים לטובת בנות ולפעמים לטובת בנים. מספרם היה קטן אך מספיק עקבי בין גרסאות המבחן כדי לדרוש בדיקה מעמיקה יותר. והמהותי: לא נמצאה עדות שהמבחן בכללותו מוטה נגד אף אחד מהמגדרים, אך יש פריטים בודדים שכדאי לחדד או להחליף בגרסאות עתידיות.

מה משמעות הדבר לשימוש בציוני מיומנות גלובלית

לקריאה שאינה מקצועית בתחום המבחנים, המסקנה היא שציוני המיומנות הגלובלית של PISA 2018 עבור תלמידים קנדיים הם ברובם מהימנים: הם לוכדים יכולת ממשית הקשורה לאופן שבו צעירים חושבים ומגיבים למצבים גלובליים ובין‑תרבותיים, ועושים זאת בצורה שניתן לתארה כהוגנת ברמה הרחבה. עם זאת, המחקר מדגיש שפרטי עיצוב המבחן — כגון איזה ספר קיבל התלמיד וכיצד מוגדרות תכונות בסקר — יכולים לעצב בעדינות את התוצאות. המסקנה היא שמדידת תופעה עשירה כמו מיומנות גלובלית אפשרית, אך דורשת תשומת לב מתמדת לכתיבה של השאלות, לאופן קיבוצן ולדרך שבה הן פועלות עבור סוגים שונים של תלמידים.

ציטוט: Yavuz, E. Validity and fairness of the PISA 2018 Global Competence assessment: an argument-based evaluation via explanatory item response models. Humanit Soc Sci Commun 13, 570 (2026). https://doi.org/10.1057/s41599-026-06979-6

מילות מפתח: מיומנות גלובלית, PISA 2018, הערכה חינוכית, הגינות מבחנים, דגמי תגובה לפריטים