Novos modelos de IA não admitem quando não sabem responder algo

Tudo sobre Inteligência Artificial

Um novo estudo publicado na revista Nature revela que, à medida que os modelos de linguagem grande (LLMs) de IA se tornam mais avançados, eles têm menos probabilidade de admitir que não conseguem responder a uma pergunta.

Pesquisadores da Universitat Politècnica de Valência, na Espanha, testaram os últimos modelos BLOOM, Llama e GPT para verificar a precisão de suas respostas em matemática, ciências e geografia, fazendo milhares de perguntas. Eles classificaram as respostas como corretas, incorretas ou evasivas.

Honestidade dos modelos de IA diminuiu

O estudo sobre LLMs também mostrou que, embora a precisão em questões mais desafiadoras tenha melhorado com cada novo modelo, esses modelos são menos transparentes sobre sua capacidade de responder corretamente.
Enquanto versões anteriores admitiam quando não sabiam a resposta ou precisavam de mais informações, os novos modelos tendem a adivinhar e podem até errar em perguntas simples.
Os LLMs, que usam aprendizado profundo para entender e gerar conteúdo, conseguem resolver problemas complexos, mas ainda cometem erros em questões básicas.
O estudo afirma que “a confiabilidade total não é alcançada nem mesmo em níveis de dificuldade muito baixos”.

Pessoa apontando e quase tocando em fileira de dados holográficas que parece correnteza de um rio — Modelos de linguagem estão avançando, mas isso não significa que as IAs estão mais confiáveis (Imagem: NicoElNino/Shutterstock)

Leia mais

Por exemplo, o GPT-4 da OpenAI apresentou uma redução significativa nas respostas evasivas em comparação com o GPT-3.5, mas isso não corresponde à expectativa de que modelos mais novos seriam melhores em evitar respostas fora de sua capacidade.

Os pesquisadores concluíram que não houve “nenhuma melhoria aparente” nos modelos, apesar do avanço tecnológico.