PISA 2018 Küresel Yeterlik değerlendirmesinin geçerliği ve adilliği: açıklayıcı madde tepki modelleriyle argümana dayalı bir değerlendirme

Bu çalışma günlük yaşam için neden önemli

Bugünün ergenleri, haberlerin, arkadaşlıkların ve gelecekteki işlerin ulusal sınırları aştığı bir dünyada büyüyor. Okullar, farklı kültürlerle başa çıkabilmeleri, çevrimiçi bilgiyi süzebilmeleri ve kendilerinden farklı insanlarla çalışabilmeleri için onları hazırlamaya çalışıyor. Uluslararası Öğrenci Değerlendirme Programı (PISA), 2018’de bu “küresel yeterlik”i ölçmeye çalıştı. Bu çalışma basit ama önemli bir soruyu soruyor: bu sınav puanlarına gerçekten kimlerin küresel olarak yeterli olduğunu söylemek için güvenebilir miyiz ve bu puanlar farklı öğrenci grupları için adil mi?

Dünya çapındaki bir okul sınavına yakından bakmak

PISA’nın 2018 küresel yeterlik testi, birçok ülkede 15 yaşındakiler tarafından uygulandı ve eğitim sistemlerinin gençleri birbirine bağlı bir dünyaya ne kadar iyi hazırladığına dair önemli bir gösterge olarak ele alındı. Ancak araştırmacılar ve eğitimciler, küresel yeterlik kavramının tanımlanmasının zor olduğunu ve Batı yanlısı görüşler veya kültürel önyargılardan etkilenebileceğini düşündü. Bu makale, testi giren Kanada öğrencilerine odaklanıyor ve soruları ile sonuçları dikkatle inceliyor. Yazar, geçerlik için yapılandırılmış bir yaklaşım kullanıyor: önce yanıtların tutarlı biçimde puanlanıp puanlanmadığını, sonra farklı test versiyonlarında puanların benzer görünüp görünmediğini, başka göstergelerle uyumunu ve son olarak kız ve erkek öğrencilere karşı adil davranıp davranmadığını soruyor.

Sınavın ve öğrencilerin nasıl analiz edildiği

Araştırmacı, öğrencilerin soruları doğru ya da yanlış yapıp yapmadığına bakmanın ötesinde, hem sınav özelliklerinin hem de öğrencilerin özelliklerinin her bir sorunun zorluğunu nasıl etkilediğini inceleyen modern bir istatistiksel yöntem ailesi kullandı. PISA’nın küresel yeterlik maddeleri, "testlet" denilen küçük hikâye tabanlı setler halinde gruplanmış ve farklı kitapçıklarda, yani formlarda sunulmuştur. Çalışma her bir kitapçık grubunu ayrı değerlendirdi, az miktardaki eksik veriyi temkinli bir şekilde doldurdu ve ardından sonuçları meta-analiz ile gruplar arasında birleştirdi. Test puanlarının yanında, öğrencilere küresel konularla başa çıkma konusunda özgüven, diğer kültürlere saygı, kültürlerarası iletişime farkındalık ve göçmenlere yönelik tutumlar hakkında sorulan anket sorularına verdikleri yanıtlar da kullanıldı.

Puan kalitesi hakkında çalışmanın bulguları

Analiz, hikâye tabanlı soru gruplamalarının tek başına maddelerin zor görünme biçimini çarpıtmadığını gösterdi. Başka bir deyişle, soruları bir senaryo içinde bir araya getirmek, genel yetenek hesaba katıldığında sonuçları güçlü biçimde etkilemiyordu. Bununla birlikte bazı kitapçıklar, maddeleri diğerlerine göre biraz daha zor hale getiriyordu; bu da bir öğrencinin hangi formu aldığına bağlı olarak puanların biraz yukarı veya aşağı itilebileceğini düşündürüyor. Öğrenci düzeyinde, küresel konularla başa çıkma konusunda daha yüksek özgüvene, kültürel çeşitliliğe daha fazla saygıya ve kültürlerarası iletişime daha duyarlı olanların bilişsel görevlerde daha iyi performans gösterme eğiliminde olduğu görüldü. Bu bağlantılar genel olarak farklı kitapçıklar arasında istikrarlıydı. Her ilgili özellik beklenildiği gibi davranmadı: küresel düşünümlülük ya da dünya sorunlarına farkındalık gibi bazı ölçütlerin test performansıyla zayıf veya hafifçe negatif ilişkiler göstermesi, küresel yeterliğin ne kadar karmaşık ve çok katmanlı olduğunu vurguluyor.

Kızlar ve erkekler arasında adilliği kontrol etmek

Çalışma ayrıca genel yetenek kontrol edildikten sonra belirli soruların kızlara veya erkeklere haksız avantaj sağlayıp sağlamadığını inceledi. Çoğu madde için cinsiyetler arasındaki farklar çok küçük ve tutarsızdı; bu da soruların her iki grup için benzer davrandığını gösteriyor. Bir avuç soru orta veya büyük avantaj gösterdi; bunlar daha sık kızları, ara sıra da erkekleri lehine oluyordu. Sayıları az olsa da bu sorular test formları arasında yeterince tutarlıydı ve daha yakından incelenmeyi hak ediyor. Önemli olarak, testin bütünüyle herhangi bir cinsiyete karşı önyargılı olduğuna dair bir işaret yoktu, ancak bazı bireysel sorular gelecekteki versiyonlarda gözden geçirilebilir veya yeniden denenebilir.

Küresel yeterlik puanlarını kullanmanın anlamı

Sınav dünyasının dışında okuyanlar için sonuç şu: PISA 2018’in Kanada öğrencilerine ait küresel yeterlik puanları büyük ölçüde sağlamdır: bunlar gençlerin küresel ve kültürlerarası durumları nasıl düşündükleri ve bunlara nasıl yanıt verdikleriyle bağlantılı gerçek bir yeteneği yakalıyor ve bunu geniş anlamda adil biçimlerde yapıyor. Aynı zamanda çalışma, hangi kitapçığın verildiği veya anket özelliklerinin nasıl tanımlandığı gibi sınav tasarım ayrıntılarının sonuçları ince biçimde şekillendirebileceğini gösteriyor. Çalışma, küresel yeterlik gibi zengin bir şeyi ölçmenin mümkün olduğunu ancak soruların nasıl yazıldığına, nasıl gruplanıp sunulduğuna ve farklı türdeki öğrenciler için nasıl işlediğine sürekli dikkat gerektirdiğini ortaya koyuyor.

Atıf: Yavuz, E. Validity and fairness of the PISA 2018 Global Competence assessment: an argument-based evaluation via explanatory item response models. Humanit Soc Sci Commun 13, 570 (2026). https://doi.org/10.1057/s41599-026-06979-6

Anahtar kelimeler: küresel yeterlik, PISA 2018, eğitim değerlendirmesi, test adilliği, madde tepki modelleme