Por que chatbots erram… e não sabem explicar o motivo?

Chatbots, como o ChatGPT e o Gemini, são ótimos para gerar ideias, tirar dúvidas simples e até criar um texto um pouco mais difícil. Porém, eles também erram… e muito. E não é estranho perguntarmos para eles mesmos por que cometeram esse erro, como se estivéssemos conversando uma pessoa. Quando, na realidade, estamos lidando apenas com um conjunto de programas que geram respostas com base em dados.

Segundo um artigo publicado Ars Technica, perguntar ao chatbot o motivo de um erro não resolve nada, pois a resposta pode ser tão errada quanto, ou até mais. Essa curiosidade em entender “o que passou pela cabeça da IA”, só reforça que não compreendemos direito como ela funciona.

Erros catastróficos, respostas sem sentido

Um incidente recente deixa isso claro. Um assistente de programação com a inteligência artificial da Replit apagou um banco de dados ativo. Ao ser questionado sobre isso, ele disse que havia executado comandos sem autorização e descumprido regras para não agir sem permissão humana.

Quando questionado se era possível recuperar o banco, o chatbot afirmou que não, porque teria “apagado todas as versões”. No entanto, a restauração funcionou normalmente.

A questão aqui é: por que o sistema de IA daria respostas totalmente incorretas sobre seus próprios erros? Segundo o artigo, o motivo é você não está falando com uma pessoa. O chatbot não têm consciência, ele apenas simula uma conversa humana usando uma interface amigável.

Não existe um “pensamento interno” capaz de refletir sobre falhas. O que eles dizem é fruto de padrões aprendidos no treinamento, e não de um entendimento real do que aconteceu. Chatbots são apenas sistemas que geram respostas em textos baseados em dados utilizados para o treinamento de seus algoritmos. Então, o sistema, simplesmente, não tem ideia do que está errado.

Respostas depende das fontes de dados utilizadas pelo treinamento do chatbot

As respostas de um chatbot dependem totalmente dos dados usados em seu treinamento e isso leva a diversos pontos:

• As fontes podem ser corretas, mas também conter erros ou informações falsas.
• Redes sociais e textos da internet aumentam o risco de dados imprecisos.
• O sistema não sabe se a resposta está certa ou errada.
• O chatbot evita dizer “não sei” e cria respostas que soem plausíveis, mesmo que sejam incorretas.
• No caso do Replit, a IA afirmou que não era possível recuperar o banco de dados apagado porque isso parecia lógico com base no que aprendeu.
• A resposta não foi uma análise real do problema, mas sim uma história gerada a partir de informações imprecisas.

Lembre-se: você não está lidando com uma pessoa

E, exatamente por isso, ela não pode ser considerada como uma análise genuína sobre o erro, mas uma história criada com base em informações erradas capturadas em diversas fontes de dados, sem que o erro mesmo tenha sido analisado pelo sistema.

Leia mais:

• ChatGPT vai ter anúncios? Executivo da OpenAI responde
• Homem segue orientação do ChatGPT e desenvolve problema de saúde raro
• Gemini agora lembra conversas passadas – e você decide o que a IA pode guardar

Ao contrário dos humanos, que podem introspectar e avaliar seu próprio conhecimento, os modelos de IA não possuem uma base de conhecimento estável e acessível que possam consultar.

Beni Edwards, jornalista e especialista em IA do site Ars Technica.

Isso significa que um mesmo chatbot pode contradizer suas próprias funções, dependendo de como você pergunta. Até perguntas iguais podem gerar respostas diferentes, pois assistentes modernos combinam vários modelos de IA que não “conversam” entre si.

No caso do OpenAI, por exemplo, existem modelos separados para moderação de conteúdo, que funcionam de forma totalmente independente do modelo principal que gera as respostas.

Portanto, é fundamental lembrar que os chatbots não têm nenhum nível de autoconhecimento por trás de suas respostas, eles apenas imitem padrões de texto que adivinham suas capacidades e falhas, nada mais que isso.