Uma equipe de cientistas da computação da Purdue University testou a capacidade do ChatGPT de responder perguntas sobre programação de computadores, e descobriu que o chatbot comete imprecisões quando fala sobre esse tema.
Leia mais:
- Como usar chat por voz no ChatGPT
- 5 dicas para usar o ChatGPT de maneira mais eficiente
- Conselho europeu considera ChatGPT um risco; entenda
Os especialistas, em seu estudo, extraíram perguntas do site de programação StackOverflow, as apresentaram ao ChatGPT, e então mediram seu grau de precisão ao responder.
A equipe da Purdue se viu motivada a realizar o estudo após observar que muitos estudantes de programação começaram a usar LLMs não apenas para escrever código para tarefas de programação, mas também para responder questões relacionadas à programação.
Para descobrir o quão precisos os LLMs são em responder a essas perguntas, a equipe de pesquisa concentrou seus esforços em apenas um chatbot, talvez o mais popular no momento: o ChatGPT.
Os pesquisadores usaram perguntas disponíveis gratuitamente no site StackOverflow – um site criado para ajudar os programadores a aprender mais sobre programação, trabalhando com outras pessoas em sua área de interesse.
Em uma parte do site, os usuários podem postar perguntas que serão respondidas por outras pessoas que sabem as respostas.
ChatGPT errou metade das perguntas sobre programação
- A equipe de pesquisa usou 517 perguntas encontradas no site e depois mediu a frequência com que o ChatGPT deu a resposta correta.
- O chatbot foi impreciso mais do que deveria ser normal: apenas 52% das vezes a resposta fornecida foi correta.
- Eles também descobriram que as respostas tendiam a ser mais detalhadas do que seriam quando a mesma pergunta fosse feita a um especialista humano.
Por meio de estudantes que participaram do estudo, a equipe descobriu ainda que em 35% das vezes, eles preferem as respostas dadas no ChatGPT do que perguntar a um humano.
Os pesquisadores também descobriram que os mesmos usuários que liam as respostas dadas pelo ChatGPT muitas vezes não percebiam os erros cometidos, ignorando as respostas erradas 39% das vezes.
Tags: