Pesquisadores descobriram que chatbots podem ser usados para detectar “alucinações” de outros modelos de IA generativa. No estudo publicado recentemente na revista Nature, a equipe explica que sistemas como o ChatGPT, da OpenAI, e o Gemini, do Google, podem ajudar a encontrar e corrigir respostas imprecisas fornecidas por outros chatbots.
Entenda:
- Pesquisadores de Oxford descobriram que chatbots como ChatGPT e Gemini podem ser usados para detectar “alucinações” de outros modelos de IA generativa;
- A equipe fez uma série de perguntas a um chatbot e, em seguida, avaliou as respostas em um outro modelo em busca de inconsistências;
- As perguntas também passaram por avaliadores humanos para determinar a confiabilidade das comparações entre os chatbots;
- Os modelos de IA concordaram com as resoluções dos humanos em 93% dos casos;
- A equipe destaca que as alucinações e respostas imprecisas dos chatbots ajudam a dificultar a adoção generalizada dos sistemas – especialmente em áreas como a medicina;
- O estudo foi publicado na revista Nature.
Para o estudo, Sebastian Farquhar, cientista da computação da Universidade de Oxford, no Reino Unido, e sua equipe fizeram uma série de questionamentos comuns a um chatbot – problemas matemáticos do ensino fundamental, por exemplo. Um segundo modelo foi usado para revisar as respostas geradas em busca de inconsistências e distorções.
Leia mais:
- Alucinações de IA poderiam ajudar na criação de antibióticos
- Chatbots de IA alucinam e mentem. Big techs buscam soluções
- Pesquisa do Google com IA está alucinando; confira exemplos (engraçados e bizarros)
Chatbots ajudam a corrigir alucinações de IA
As perguntas feitas aos chatbots também passaram por avaliadores humanos. Como explicam os investigadores no artigo, a IA concordou com as resoluções dos humanos em 93% dos casos, e os avaliadores humanos concordaram entre si em 92% das vezes. O resultado ajudou a equipe a determinar a confiabilidade da comparação das respostas dos diferentes chatbots.
Ao The Washington Post, Farquhar explica que, para o leitor médio, é “muito difícil” identificar alguns erros da IA, já que os chatbots “muitas vezes dizem o que você quer ouvir, inventando coisas que não são apenas plausíveis, mas que seriam úteis se fossem verdadeiras, algo que os pesquisadores rotularam de ‘bajulação’.”
A equipe ainda diz que as alucinações da IA generativa ajudam a criar uma barreira que impede a adoção generalizada dos sistemas – principalmente em áreas como a medicina, onde “poderiam representar um risco para a vida humana.”
Tags: