ChatGPT tem notas mais altas que estudantes em pesquisa sobre redação

Tudo sobre ChatGPT

Tudo sobre Inteligência Artificial

Um estudo conduzido por pesquisadores da Universidade de Passau avaliou redações escritas por estudantes do ensino secundário (o equivalente ao ensino médio no Brasil) e pelo ChatGPT. Constatou-se que o modelo de inteligência artificial da OpenAI apresentou um desempenho superior em todos os critérios de correção, especialmente no domínio do idioma, quando comparado às produções dos estudantes.

A pesquisa foi publica na revista científica Scientific Reports.

ChatGPT X Alunos

O estudo interdisciplinar comparou textos escritos em inglês pelo ChatGPT e estudantes do ensino secundário. As informações sobre a idade dos redatores não estão disponíveis, o estudo indica que as redações foram escritas do 11º ao 13º ano do ensino alemão, apontando que os autores provavelmente tinham pelo menos 16 anos.
As duas versões do modelo de IA — a 3.5 e a 4 — foram utilizadas na pequisa.
Primeiro a equipe conduziu um curso chamado “ChatGPT — Oportunidade e Desafio” com 139 professores.
Nele, os docentes, que em sua maioria lecionam em ginásios alemães, aprenderam sobre as características dos geradores de texto baseados em IA.
Numa segundo etapa, 112 professores avaliaram 270 textos, sem saber por quem foram escritos.
Todas as redações foram avaliadas conforme as diretrizes locais de educação e consideraram critérios como coerência, vocabulário, complexidade e domínio da língua.
A escala de notas variava de 0 a 6 para cada critério, sendo 0 a pior e 6 a melhor.

Domínio do idioma

Os resultados da pesquisa mostraram que o ChatGPT se saiu melhor em todos os critérios de avaliação. Mas, em um deles, registrou maior diferença de desempenho: o domínio do idioma. O modelo de linguagem obteve 5,25 (GPT-4) e 5,03 pontos (GPT-3), enquanto os estudantes obtiveram uma média de 3,9 pontos no mesmo quesito.

Annette Hautli-Janisz, professora na Universidade de Passau, explicou ao Tech Explore o que o resultado representa:

Isso não significa que os alunos tenham poucos conhecimentos da língua inglesa. Em vez disso, as pontuações alcançadas pela máquina são excepcionalmente altas.
Annette Hautli-Janisz para o Tech Explore

Alerta ao sistema de ensino

Com a crescente disponibilidade de modelos de inteligência artificial, os pesquisadores alertam que é crucial que o sistema educacional esteja atento aos desafios e oportunidades que essas tecnologias apresentam.

Segundo Ute Heuer, uma das pesquisadoras envolvidas no estudo, preparar os professores para lidar com essas mudanças é uma prioridade. Já Hautli-Janisz também destaca que, ao consumir textos gerados por IA, é essencial questionar de que maneira isso influencia a linguagem humana.