Um novo estudo publicado na revista Nature revela que, à medida que os modelos de linguagem grande (LLMs) de IA se tornam mais avançados, eles têm menos probabilidade de admitir que não conseguem responder a uma pergunta.
Pesquisadores da Universitat Politècnica de Valência, na Espanha, testaram os últimos modelos BLOOM, Llama e GPT para verificar a precisão de suas respostas em matemática, ciências e geografia, fazendo milhares de perguntas. Eles classificaram as respostas como corretas, incorretas ou evasivas.
Honestidade dos modelos de IA diminuiu
- O estudo sobre LLMs também mostrou que, embora a precisão em questões mais desafiadoras tenha melhorado com cada novo modelo, esses modelos são menos transparentes sobre sua capacidade de responder corretamente.
- Enquanto versões anteriores admitiam quando não sabiam a resposta ou precisavam de mais informações, os novos modelos tendem a adivinhar e podem até errar em perguntas simples.
- Os LLMs, que usam aprendizado profundo para entender e gerar conteúdo, conseguem resolver problemas complexos, mas ainda cometem erros em questões básicas.
- O estudo afirma que “a confiabilidade total não é alcançada nem mesmo em níveis de dificuldade muito baixos”.
Leia mais
- Big techs em foco: top 5 acontecimentos e perspectivas para 2024
- Google e Reddit têm acordo fechado para dados de treinamento de IA
- Tratar bem um chatbot pode melhorar seu desempenho – é o que diz um novo estudo
Por exemplo, o GPT-4 da OpenAI apresentou uma redução significativa nas respostas evasivas em comparação com o GPT-3.5, mas isso não corresponde à expectativa de que modelos mais novos seriam melhores em evitar respostas fora de sua capacidade.
Os pesquisadores concluíram que não houve “nenhuma melhoria aparente” nos modelos, apesar do avanço tecnológico.
Leandro Criscuolo é jornalista formado pela Faculdade Cásper Líbero. Já atuou como copywriter, analista de marketing digital e gestor de redes sociais. Atualmente, escreve para o Olhar Digital.
Bruno Capozzi é jornalista, mestre em Ciências Sociais e editor executivo do OD.
