בני אדם מול בינה מלאכותית: חקירת היכולת של אקדמאים צעירים ממוסדות מחקריים ולא-מחקריים לזהות תקצירים מחקריים בדנטל שנוצרו על-ידי ChatGPT

מדוע מחקר זה חשוב לקוראים יומיומיים

ככל שכלים כמו ChatGPT נכנסים במהירות לכיתות ולמעבדות מחקר, רבים תוהים שאלה פשוטה: האם אפשר בכלל להבחין כשהמחשב כתב משהו שנראה מדעי? המחקר הזה מתמקד בבעיה זו בהקשר מעשי מאוד — מחקר דנטלי — ובוחן האם מרצי אוניברסיטה צעירים מסוגלים לזהות תקצירים מחקריים שנכתבו על-ידי בינה מלאכותית, וכיצד כישוריהם משווים לתוכנות ייעודיות לזיהוי תוצרי AI.

מבחן לאנשים ולמכונות

החוקרים התמקדו בסוג מאוד ספציפי וחשוב של כתיבה מדעית: התקציר, הסיכום הקצר שבתחילת מאמר מחקרי שרוב הקוראים רואים תחילה. הם אספו 75 תקצירים אמיתיים מכתבי עת מובילים בתחום הדנטלי וביקשו מ-ChatGPT לכתוב 75 תקצירים חדשים באמצעות אותם כותרים. כך נוצר מאגר של 150 טקסטים — חצי כתובים בידי בני אדם, חצי נוצרים על-ידי בינה מלאכותית — שנראו כמו תקצירים מחקריים אותנטיים אך שונים במקור באופן שהמבקרים לא ידעו.

אקדמאים צעירים במרכז הזירה

גוייסו שישה אקדמאים דנטליים בראשית דרכם, כולם עם פחות משנתיים של ניסיון בהוראה ובמחקר, משש אוניברסיטאות במלזיה — שלוש אוניברסיטאות ממשלתיות מחקריות ושלוש מוסדות פרטיים שאינם מחקריים. כל אחד קיבל תערובת של תקצירים אמיתיים ואלו שנוצרו בידי AI, ללא שמות כתבי עת או פרטי מחברים כך שנשארה רק הניסוחיות. התבקשו להחליט האם כל תקציר נכתב בידי אדם או בידי AI, ולדרג את איכותו בעזרת טופס דירוג פשוט שהעריך בהירות, זרימה, יצירתיות, עומק הבנה, דקדוק, שימוש בשפה טכנית וידע תחומי ספציפי.

כיצד תוכנה שופטת את אותם טקסטים

אותם 150 תקצירים הוערכו אז על-ידי שלושה גלאי תוצרי AI שונים ובודק דמיון נפוץ. גלאי ה-AI מעריכים עד כמה סביר שטקסט הגיע ממערכת כמו ChatGPT, בעוד שבודק הדמיון (Turnitin) משווה את הטקסט מול מאגרי כתיבה עצומים כדי לבדוק עד כמה הוא דומה לטקסטים קיימים. ביחד, כלים אלה מייצגים את סוגי האמצעים הדיגיטליים שעל אוניברסיטאות מתחילות להישען עליהם כדי להגן על היושרה האקדמית ככל שכתיבה בסיוע AI הופכת לשכיחה יותר.

מי עשה זאת טוב יותר, בני אדם או מכונות?

האקדמאים הצעירים התקשו יותר מכפי שאולי ציפו. שיעור ההצלחה שלהם בזיהוי האם תקציר נכתב בידי אדם או בידי AI נע בין 44% ל-76% — לא הרבה יותר מאומדן זהיר במקרים מסוימים. המבקרים ממוסדות מחקריים אינטנסיביים לא הצטיינו באופן בהיר על פני אלו מהמוסדות הפרטיים שממוקדים בהוראה; הבדלים אישיים היו חשובים יותר מסוג המוסד. מעניין שכשדירגו איכות, המבקרים נטו לדרג תקצירים אמיתיים כטובים עד מצוינים ותקצירי AI בעיקר כממוצעים, מה שמעיד שהם חשים בהבדלים בעומק ובניואנסים גם כאשר טעו בזיהוי המחבר.

גלאים שהתעלו על המשתמשים האנושיים שלהם

התוכנה, ובמיוחד כלי אחד בשם GPTZero, הוכיחה אמינות גבוהה יותר בהפרדת כתיבה אנושית וממוחשבת. GPTZero סיווג כראוי כ-תשעה מתוך עשר תקצירים, הרבה יותר טוב מהמבחנים האנושיים ויותר טוב משני גלאי ה-AI הנוספים שנבדקו. בודק הדמיון ביצע גם הוא באופן חזק: כמעט כל התקצירים האמיתיים הראו דמיון גבוה מאוד למקורות קיימים (כיוון שמדובר בעבודות שפורסמו בפועל), בעוד שתקצירים שנוצרו בידי AI נטו להראות דמיון נמוך עד בינוני, משקף את יכולתו של ChatGPT לנסח מחדש במקום להעתיק. ביחד, כלים אלה הראו שזיהוי אוטומטי יכול כרגע להקדים את השיפוט האנושי הנטול סיוע, לפחות עבור אקדמאים בתחילת דרכם שקוראים טקסטים טכניים.

מה משמעות הדבר לחינוך ולמחקר

ללא-מומחים, המסר המרכזי הוא שגם אקדמאים צעירים ומיומנים מתקשים לזהות באופן מהימן תקצירים מחקריים מלוטשים שנכתבו על-ידי AI רק על-פי קריאה, והסביבה המוסדית שלהם — עשירה במחקר או לא — אינה מבטיחה אינטואיציה חדה יותר. עם זאת, כמה כלי זיהוי כבר עושים עבודה מפתיעה טובה, אף שהם אינם מושלמים ויכולת הדיוק שלהם יכולה להשתנות ככל שמערכות ה-AI מתפתחות. החוקרים מסכמים כי אוניברסיטאות לא צריכות להישען רק על שיפוט אנושי, וגם לא על גלאי יחיד. במקום זאת הם ממליצים על גישה משולבת: הכשרה טובה יותר באוריינות AI לצוותים בראשית דרכם, שימוש שקול בכמה כלים לזיהוי, והנחיות אתיות ברורות כך שהמומחיות האנושית והבינה המלאכותית יעבדו יחד כדי להגן על אמינות הכתיבה המדעית.

ציטוט: AL-Rawas, M., Abdul Qader, O.A.J., Lin, G.S.S. et al. Human versus artificial intelligence: investigating ability of young academics from research and non-research institutions to identify ChatGPT-generated dental research abstracts. Sci Rep 16, 12287 (2026). https://doi.org/10.1038/s41598-026-42555-3

מילות מפתח: ChatGPT, יושרה אקדמית, זיהוי בינה מלאכותית, מחקר דנטלי, אקדמאים בראשית דרכם