O aclamado modelo de linguagem de grande escala da OpenAI, o ChatGPT, foi descrito como “simplesmente o melhor chatbot de inteligência artificial já lançado ao público em geral” por Kevin Roose, autor de “Futureproof: 9 Rules for Humans in the Age of Automation”, e como “uma das maiores coisas já feitas para a computação”, segundo o CEO da Nvidia, Jensen Huang. Porém, alguns pesquisadores dizem que o chat baseado em IA está “inconsistente” e “piorando”.
Leia mais:
- ChatGPT: 7 coisas que o chatbot poderia fazer (mas não faz)
- 5 motivos para NÃO usar o ChatGPT
- Como identificar fotos “falsas” criadas por IA
Muitos acreditam que o modelo do ChatGPT superou oficialmente o teste de Turing, um marco tradicional da capacidade de uma máquina em alcançar a inteligência humana, o ChatGPT se destaca em exames de alto desempenho em várias áreas: matemática (89º percentil), direito (90º percentil) e verbal GRE (99º percentil).
Além disso, pesquisadores da escola médica da NYU relataram em julho de 2023 que os conselhos dados pelo ChatGPT para questões relacionadas à saúde eram quase indistinguíveis daqueles fornecidos pela equipe médica humana.
Pesquisadores acreditam que ChatGPT está piorando
No entanto, pesquisadores da Universidade de Stanford e da Universidade da Califórnia em Berkeley expressaram preocupações sobre a confiabilidade do ChatGPT. Lingjiao Chen, Matei Zaharia e James Zhu observaram que o desempenho do chatbot tem sido inconsistente, piorando em algumas instâncias.
Um estudo publicado em 18 de julho no servidor de pré-impressão arXiv indicou que “o desempenho e o comportamento do GPT-3.5 e do GPT-4 variam significativamente” e que as respostas a algumas tarefas “pioraram substancialmente ao longo do tempo”.
Em março de 2023, o GPT-4 atingiu uma taxa de acerto de 97,6% em problemas relacionados a números primos. No entanto, esse índice despencou para meros 2,4% quando o modelo de junho de 2023 foi utilizado. Além disso, a capacidade do ChatGPT de auxiliar programadores com questões de programação e depuração também decaiu, passando de pouco mais de 50% em março para 10% em junho.
Zhu afirmou ser difícil determinar uma causa, embora seja aparente que as modificações e atualizações do sistema sejam fatores. “Não entendemos completamente o que causa essas mudanças nas respostas do ChatGPT porque esses modelos são opacos”, disse Zhu.
A OpenAI descartou alegações de teóricos da conspiração de que a empresa esteja experimentando versões menores dos LLMs como medida de economia de custos ou que esteja enfraquecendo intencionalmente o GPT-4 para que os usuários frustrados estejam mais dispostos a pagar pelo acessório LLM do GitHub, o CoPilot.
“Não tornamos o GPT-4 mais burro. Muito pelo contrário: tornamos cada nova versão mais inteligente que a anterior”, disse Peter Welinder, vice-presidente de produto da OpenAI, em um tweet recente.
Em meio a isso, alguns observadores que estão preocupados com o impacto disruptivo da “deriva” nos resultados do modelo estão pressionando a OpenAI a divulgar as fontes de material de treinamento, código e outros elementos estruturais por trás do ChatGPT 4.0.
“Qualquer resultado em modelos de código fechado não é reproduzível e nem verificável e, portanto, do ponto de vista científico, estamos comparando guaxinins e esquilos”, explicou Sasha Luccioni, da empresa de IA Hugging Face. Ela defendeu que a responsabilidade de monitorar os LLMs implantados recai sobre os criadores dos modelos, que deveriam fornecer acesso aos modelos subjacentes, pelo menos para fins de auditoria.
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
Tags: