Um estudo conduzido por pesquisadores da Universidade de Passau avaliou redações escritas por estudantes do ensino secundário (o equivalente ao ensino médio no Brasil) e pelo ChatGPT. Constatou-se que o modelo de inteligência artificial da OpenAI apresentou um desempenho superior em todos os critérios de correção, especialmente no domínio do idioma, quando comparado às produções dos estudantes.

A pesquisa foi publica na revista científica Scientific Reports.

ChatGPT X Alunos

  • O estudo interdisciplinar comparou textos escritos em inglês pelo ChatGPT e estudantes do ensino secundário. As informações sobre a idade dos redatores não estão disponíveis, o estudo indica que as redações foram escritas do 11º ao 13º ano do ensino alemão, apontando que os autores provavelmente tinham pelo menos 16 anos. 
  • As duas versões do modelo de IA — a 3.5 e a 4 — foram utilizadas na pequisa.
  • Primeiro a equipe conduziu um curso chamado “ChatGPT — Oportunidade e Desafio” com 139 professores.
  • Nele, os docentes, que em sua maioria lecionam em ginásios alemães, aprenderam sobre as características dos geradores de texto baseados em IA.
  • Numa segundo etapa, 112 professores avaliaram 270 textos, sem saber por quem foram escritos.
  • Todas as redações foram avaliadas conforme as diretrizes locais de educação e consideraram critérios como coerência, vocabulário, complexidade e domínio da língua.
  • A escala de notas variava de 0 a 6 para cada critério, sendo 0 a pior e 6 a melhor.

Leia mais:

Domínio do idioma

Os resultados da pesquisa mostraram que o ChatGPT se saiu melhor em todos os critérios de avaliação. Mas, em um deles, registrou maior diferença de desempenho: o domínio do idioma. O modelo de linguagem obteve 5,25 (GPT-4) e 5,03 pontos (GPT-3), enquanto os estudantes obtiveram uma média de 3,9 pontos no mesmo quesito.

publicidade

Annette Hautli-Janisz, professora na Universidade de Passau, explicou ao Tech Explore o que o resultado representa:

Isso não significa que os alunos tenham poucos conhecimentos da língua inglesa. Em vez disso, as pontuações alcançadas pela máquina são excepcionalmente altas.

Annette Hautli-Janisz para o Tech Explore

Alerta ao sistema de ensino

Com a crescente disponibilidade de modelos de inteligência artificial, os pesquisadores alertam que é crucial que o sistema educacional esteja atento aos desafios e oportunidades que essas tecnologias apresentam.

Segundo Ute Heuer, uma das pesquisadoras envolvidas no estudo, preparar os professores para lidar com essas mudanças é uma prioridade. Já Hautli-Janisz também destaca que, ao consumir textos gerados por IA, é essencial questionar de que maneira isso influencia a linguagem humana.