Um estudo conduzido por pesquisadores da Universidade de Passau avaliou redações escritas por estudantes do ensino secundário (o equivalente ao ensino médio no Brasil) e pelo ChatGPT. Constatou-se que o modelo de inteligência artificial da OpenAI apresentou um desempenho superior em todos os critérios de correção, especialmente no domínio do idioma, quando comparado às produções dos estudantes.
A pesquisa foi publica na revista científica Scientific Reports.
ChatGPT X Alunos
- O estudo interdisciplinar comparou textos escritos em inglês pelo ChatGPT e estudantes do ensino secundário. As informações sobre a idade dos redatores não estão disponíveis, o estudo indica que as redações foram escritas do 11º ao 13º ano do ensino alemão, apontando que os autores provavelmente tinham pelo menos 16 anos.
- As duas versões do modelo de IA — a 3.5 e a 4 — foram utilizadas na pequisa.
- Primeiro a equipe conduziu um curso chamado “ChatGPT — Oportunidade e Desafio” com 139 professores.
- Nele, os docentes, que em sua maioria lecionam em ginásios alemães, aprenderam sobre as características dos geradores de texto baseados em IA.
- Numa segundo etapa, 112 professores avaliaram 270 textos, sem saber por quem foram escritos.
- Todas as redações foram avaliadas conforme as diretrizes locais de educação e consideraram critérios como coerência, vocabulário, complexidade e domínio da língua.
- A escala de notas variava de 0 a 6 para cada critério, sendo 0 a pior e 6 a melhor.
Leia mais:
- Como professores podem usar o ChatGPT? OpenAI dá algumas ideias
- O ChatGPT pode ser coautor de um estudo?
- As 6 melhores ferramentas de inteligência artificial (IA) para ajudar nos estudos
Domínio do idioma
Os resultados da pesquisa mostraram que o ChatGPT se saiu melhor em todos os critérios de avaliação. Mas, em um deles, registrou maior diferença de desempenho: o domínio do idioma. O modelo de linguagem obteve 5,25 (GPT-4) e 5,03 pontos (GPT-3), enquanto os estudantes obtiveram uma média de 3,9 pontos no mesmo quesito.
Annette Hautli-Janisz, professora na Universidade de Passau, explicou ao Tech Explore o que o resultado representa:
Isso não significa que os alunos tenham poucos conhecimentos da língua inglesa. Em vez disso, as pontuações alcançadas pela máquina são excepcionalmente altas.
Annette Hautli-Janisz para o Tech Explore
Alerta ao sistema de ensino
Com a crescente disponibilidade de modelos de inteligência artificial, os pesquisadores alertam que é crucial que o sistema educacional esteja atento aos desafios e oportunidades que essas tecnologias apresentam.
Segundo Ute Heuer, uma das pesquisadoras envolvidas no estudo, preparar os professores para lidar com essas mudanças é uma prioridade. Já Hautli-Janisz também destaca que, ao consumir textos gerados por IA, é essencial questionar de que maneira isso influencia a linguagem humana.
Tags: