İnsan ve yapay zeka: araştırma ve araştırma dışı kurumlarından genç akademisyenlerin ChatGPT tarafından oluşturulan diş hekimliği araştırma özetlerini tespit etme yeteneğinin incelenmesi

Bu çalışma sıradan okurlar için neden önemli

ChatGPT gibi araçlar sınıflara ve araştırma laboratuvarlarına hızla girdiği için birçok kişi basit bir soruyu soruyor: gerçekten bilimsel görünen bir metni bir bilgisayarın yazıp yazmadığını anlayabiliyor muyuz? Bu çalışma, bu sorunu çok pratik bir bağlamda—diş hekimliği araştırmalarında—odaklanıyor ve genç üniversite öğretim üyelerinin yapay zekâ tarafından yazılmış araştırma özetlerini fark edip edemediğini ve becerilerinin özel AI-tespit yazılımlarına kıyasla nasıl performans gösterdiğini test ediyor.

İnsanları ve makineleri teste sokmak

Araştırmacılar bilimsel yazının çok özel ve önemli bir bölümüne odaklandı: makalenin başındaki kısa özet olan özet (abstract). Önde gelen diş hekimliği dergilerinden 75 gerçek özet topladılar ve ardından aynı başlıkları kullanarak ChatGPT’den 75 yeni özet yazmasını istediler. Bu, kökenleri görünmez şekilde değişen ancak gerçek araştırma özetlerine benzeyen 150 metinlik—yarısı insan yazısı, yarısı yapay zekâ üretimi—bir havuz üretti.

Sıcak koltuktaki genç akademisyenler

İki yıldan az öğretim ve araştırma deneyimine sahip altı erken kariyer diş hekimliği akademisyeni, Malezya’daki altı üniversiteden—üç devlet araştırma üniversitesi ve üç özel, araştırma odaklı olmayan kurum—seçildi. Her katılımcıya dergi isimleri veya yazar bilgileri çıkarılmış, yalnızca metin kalmış bir karışım gerçek ve yapay zekâ yazısı özet verildi. Her bir özetin insan ya da yapay zekâ tarafından yazılıp yazılmadığına karar vermeleri ve açıklık, akış, yaratıcılık, anlama derinliği, dilbilgisi, teknik dil kullanımı ve alana özgü bilgi gibi başlıklarla basit bir puanlama tablosu kullanarak kalitesini derecelendirmeleri istendi.

Aynı metinleri yazılım nasıl değerlendiriyor

Aynı 150 özet daha sonra üç farklı AI-çıktı tespit aracı ve yaygın kullanılan bir benzerlik denetleyicisi tarafından değerlendirildi. AI tespit araçları bir metnin ChatGPT gibi bir sistemden gelme olasılığını tahmin ederken, benzerlik denetleyicisi (Turnitin) metni mevcut yazın veri tabanlarıyla karşılaştırarak ne kadar örtüştüğünü ölçüyor. Birlikte, bu araçlar üniversitelerin AI destekli yazının yaygınlaşmasıyla akademik dürüstlüğü korumak için kullanmaya başladığı dijital güvenlik önlemlerini temsil ediyor.

Kim daha iyi yaptı, insanlar mı makineler mi?

Genç akademisyenler beklenenden daha fazla zorlandı. Bir özetin insan ya da yapay zekâ tarafından yazıldığını tespit etmedeki başarıları %44 ile %76 arasında değişiyordu—bazı durumlarda dikkatli bir tahminden pek de iyi değildi. Araştırma ağırlıklı üniversitelerden gelen değerlendiriciler, öğretime odaklı özel üniversitelerdekilerden belirgin şekilde üstün performans göstermedi; kurum türünden çok bireysel farklılıklar daha belirgindi. İlginç şekilde, kaliteyi puanlarken değerlendirenler gerçek özetleri genellikle iyi ile mükemmel arasında, yapay zekâ özetlerini ise çoğunlukla ortalama olarak değerlendirdi; bu da kim yazdı konusunda yanlış yargıladıkları durumlarda bile derinlik ve nüans farklılıklarını hissedebildiklerini gösteriyor.

Kullanıcılarından daha iyi performans gösteren tespit araçları

Yazılım, özellikle GPTZero adlı bir araç, insan ve yapay zekâ yazılarını ayırt etmede daha güvenilir olduğunu kanıtladı. GPTZero yaklaşık on özetten dokuzunu doğru sınıflandırdı; bu insan değerlendiricilerden ve test edilen diğer iki AI tespit aracından çok daha iyiydi. Benzerlik denetleyicisi de güçlü performans sergiledi: neredeyse tüm gerçek özetler yüksek benzerlik gösterirken (çünkü bunlar yayımlanmış çalışmaların asıllarıydı), yapay zekâ tarafından üretilen özetler düşük ila orta düzey benzerlik sergiledi; bu da ChatGPT’nin kopyalamaktan ziyade yeniden ifade etme yeteneğini yansıtıyor. Birlikte, bu araçlar otomatik tespitin şu anda, en azından teknik metinleri okuyan erken kariyer akademisyenlerin çıplak gözle yaptığı değerlendirmeyi geride bırakabildiğini gösterdi.

Bu durum eğitim ve araştırma için ne anlama geliyor

Uzman olmayanlar için ana mesaj şudur: eğitimli genç akademisyenlerin bile cilalanmış yapay zekâ yazısı araştırma özetlerini yalnızca okuyarak güvenilir şekilde tespit etmeleri zor, ve kurumlarının araştırma ağırlıklı olup olmaması daha keskin içgüdüler sağladığı anlamına gelmiyor. Aynı zamanda, bazı tespit araçları şimdiden şaşırtıcı derecede iyi iş çıkarıyor, ancak kusursuz değiller ve AI sistemleri geliştikçe doğrulukları değişebilir. Yazarlar, üniversitelerin insan yargısına tek başına ya da tek bir tespit aracına güvenmemesi gerektiği sonucuna varıyor. Bunun yerine birleşik bir yaklaşım öneriyorlar: erken kariyer personel için daha iyi AI okuryazarlığı eğitimi, birden fazla tespit aracının düşünceli kullanımı ve insan uzmanlığı ile yapay zekânın bilimsel yazının güvenilirliğini birlikte koruyacağı açık etik yönergeler.

Atıf: AL-Rawas, M., Abdul Qader, O.A.J., Lin, G.S.S. et al. Human versus artificial intelligence: investigating ability of young academics from research and non-research institutions to identify ChatGPT-generated dental research abstracts. Sci Rep 16, 12287 (2026). https://doi.org/10.1038/s41598-026-42555-3

Anahtar kelimeler: ChatGPT, akademik dürüstlük, yapay zeka tespiti, diş hekimliği araştırması, erken kariyer akademisyenler