Uma grande dúvida de alunos de todas as idades foi respondida com novo estudo: pesquisadores da Universidade de Reading (Inglaterra) testaram se professores conseguiriam identificar provas feitas por inteligência artificial (IA) – mais especificamente com o ChatGPT. O projeto foi realizado justamente para estudar o impacto de ferramentas de IA no ensino.
Para testá-los, os pesquisadores criaram identidades falsas de alunos e responderam prova online usando o GPT-4, modelo de linguagem grande (LLM, na sigla em inglês) avançado que alimenta o ChatGPT. Os professores não receberam a informação de que as respostas foram geradas artificialmente.
Professores não conseguiram identificar prova respondida pelo ChatGPT
Das 33 respostas da prova, os professores conseguiram identificar que apenas uma foi respondida usando IA. A nota para os alunos falsos ainda foi maior do que a média de alunos reais.
Em artigo publicado na Plos na semana passada, os pesquisadores destacaram o desempenho do ChatGPT, que conseguiu passar no “Teste de Turing” da prova (passar despercebido pela avaliação de avaliadores experientes).
Os cientistas ainda chamaram atenção para a importância do trabalho em investigar se professores humanos poderiam detectar respostas geradas por IA. O resultado é um alerta: o ChatGPT e outras ferramentas artificiais já têm impacto nos sistemas de ensino e avaliação.
Leia mais:
- Aprenda a usar o ChatGPT: 10 dicas valiosas para criar perguntas precisas
- 5 dicas para usar o ChatGPT de maneira mais eficiente
- ChatGPT humano? Chatbot pode ter passado no teste de Turing
Segundo eles, isso não significa que o setor de educação vai retornar às provas manuscritas, mas que precisará evoluir diante da IA. A conclusão foi:
Com base nas tendências atuais, a capacidade da IA de exibir um raciocínio mais abstrato aumentará e sua detectabilidade diminuirá, o que significa que o problema de integridade acadêmica piorará.
Pesquisadores, em artigo publicado na Plos One
ChatGPT e IA vão mudar sistema de ensino e avaliação
- De acordo com o The Guardian, outros especialistas que avaliaram o trabalho acreditam que o estudo representa o fim das provas em casa ou não-supervisionadas;
- No entanto, eles acreditam que a IA precisa ser levada em conta nesse novo sistema;
- Uma delas, a professora Elizabeth McCrum, pró-reitora de educação de Reading, destacou como as instituições precisarão ensinar o uso da tecnologia de forma crítica e ética, com provas que ensinem a aplicar conhecimentos obtidos por meio dela na vida real;
- Nem todos concordam. A professora Karen Yeung, pesquisadora de direito, ética e informática na Universidade de Birmingham (Inglaterra), acredita que o ChatGPT e outras IAs podem criar problema de desqualificação dos alunos, que se tornarão dependentes da IA.
Os pesquisadores fizeram uma provocação nesse debate: o artigo referente ao experimento foi escrito por humanos. Mas, se tivesse sido escrito por IA, seria tão indetectável quanto as respostas da prova. Quem saberia que eles estavam mentindo?
Tags: