Inteligência humana versus artificial: investigando a capacidade de jovens acadêmicos de instituições de pesquisa e não-pesquisa de identificar resumos de pesquisa odontológica gerados pelo ChatGPT

Por que este estudo importa para leitores comuns

À medida que ferramentas como o ChatGPT entram rapidamente em salas de aula e laboratórios de pesquisa, muita gente se faz uma pergunta simples: conseguimos mesmo distinguir quando um computador escreveu algo que parece científico? Este estudo foca esse problema em um cenário muito prático — a pesquisa odontológica — e testa se docentes universitários jovens conseguem identificar resumos de pesquisa escritos por IA e como suas habilidades se comparam a softwares especializados de detecção de IA.

Colocando pessoas e máquinas à prova

Os pesquisadores concentraram-se em uma parte muito específica e importante da escrita científica: o resumo (abstract), o curto sumário no início de um artigo que a maioria dos leitores vê primeiro. Reuniram 75 resumos reais de periódicos de destaque em odontologia e pediram ao ChatGPT que escrevesse 75 resumos novos usando os mesmos títulos. Isso produziu um conjunto de 150 textos — metade escritos por humanos, metade gerados por IA — que pareciam resumos de pesquisa genuínos, mas variavam na origem de maneiras que os avaliadores não podiam ver.

Jovens acadêmicos no centro das atenções

Seis acadêmicos odontológicos em início de carreira, todos com menos de dois anos de experiência em ensino e pesquisa, foram recrutados em seis universidades na Malásia — três universidades públicas com foco em pesquisa e três instituições privadas sem foco em pesquisa. Cada participante recebeu uma mistura de resumos reais e gerados por IA, sem nomes de periódicos ou autores, de modo que apenas o texto permanecesse. Eles foram solicitados a decidir se cada resumo havia sido escrito por um humano ou por IA, e a avaliar sua qualidade usando uma folha de pontuação simples que classificava clareza, fluidez, criatividade, profundidade de entendimento, gramática, uso de linguagem técnica e conhecimento específico da área.

Como o software avaliou os mesmos textos

Os mesmos 150 resumos foram então avaliados por três detectores de saída de IA diferentes e por um verificador de similaridade amplamente utilizado. Os detectores de IA estimam quão provável é que um texto tenha vindo de um sistema como o ChatGPT, enquanto o verificador de similaridade (Turnitin) compara o texto com enormes bancos de dados de escritos existentes para ver quão próximo ele está de materiais já publicados. Juntos, essas ferramentas representam os tipos de salvaguardas digitais em que universidades começam a confiar para proteger a integridade acadêmica à medida que a escrita assistida por IA se torna mais comum.

Quem se saiu melhor, humanos ou máquinas?

Os jovens acadêmicos tiveram mais dificuldade do que poderiam esperar. O sucesso deles em identificar se um resumo era humano ou gerado por IA variou de 44% a 76% — em alguns casos não muito melhor que um palpite cuidadoso. Avaliadores de universidades com forte ênfase em pesquisa não superaram claramente os de instituições privadas focadas no ensino; diferenças individuais foram mais relevantes que o tipo de instituição. Curiosamente, ao avaliar a qualidade, os revisores tenderam a classificar os resumos reais como bons a excelentes e os resumos gerados por IA majoritariamente como medianos, sugerindo que percebiam diferenças de profundidade e nuance mesmo quando erravam sobre a autoria.

Detectores que superaram seus usuários humanos

O software, especialmente uma ferramenta chamada GPTZero, mostrou-se mais confiável para distinguir escrita humana de escrita por IA. O GPTZero classificou corretamente cerca de nove em cada dez resumos, muito melhor que os revisores humanos e superior aos outros dois detectores de IA testados. O verificador de similaridade também teve desempenho forte: quase todos os resumos reais mostraram altíssima similaridade com fontes existentes (por serem trabalhos publicados), enquanto os resumos gerados por IA tenderam a apresentar similaridade baixa a moderada, refletindo a capacidade do ChatGPT de reformular em vez de copiar. Juntas, essas ferramentas demonstraram que a detecção automatizada pode, atualmente, superar o julgamento humano sem assistência, pelo menos para acadêmicos em início de carreira lendo textos técnicos.

O que isso significa para educação e pesquisa

Para não especialistas, a mensagem-chave é que mesmo acadêmicos jovens treinados têm dificuldade em identificar de forma confiável resumos de pesquisa polidos escritos por IA apenas pela leitura, e o contexto institucional — com ou sem foco em pesquisa — não garante instintos mais aguçados. Ao mesmo tempo, algumas ferramentas de detecção já fazem um trabalho surpreendentemente bom, embora não sejam perfeitas e possam variar em precisão à medida que os sistemas de IA evoluem. Os autores concluem que as universidades não devem depender apenas do julgamento humano, nem de um único detector. Em vez disso, defendem uma abordagem combinada: melhor formação em alfabetização sobre IA para docentes em início de carreira, uso ponderado de múltiplas ferramentas de detecção e diretrizes éticas claras para que expertise humana e inteligência artificial atuem em conjunto na proteção da confiabilidade da escrita científica.

Citação: AL-Rawas, M., Abdul Qader, O.A.J., Lin, G.S.S. et al. Human versus artificial intelligence: investigating ability of young academics from research and non-research institutions to identify ChatGPT-generated dental research abstracts. Sci Rep 16, 12287 (2026). https://doi.org/10.1038/s41598-026-42555-3

Palavras-chave: ChatGPT, integridade acadêmica, detecção de IA, pesquisa odontológica, acadêmicos em início de carreira