MIT alerta: chatbots podem induzir cientistas ao erro com estudos falhos

Confiar as respostas fornecidas pelos chatbots está se tornando cada vez mais complicado. Estudo do MIT Technology Review revelou que alguns modelos usam artigos retratados para responder às solicitações dos usuários.

Isso levanta dúvidas sobre a confiabilidade dessas ferramentas e acaba dificultando o trabalho de pesquisadores e empresas que desejam investir na IA para ajudar pesquisas científicas.

Modelos de IA estão induzindo pesquisas ao erro

Muitos usuários já sabem que os chatbots podem inventar links e referências apenas para atender a uma pergunta. Mas basear respostas em artigos que foram retratados – que contém erros graves, fraude ou plágio, entre outros problemas – pode causar falhas sérias nas pesquisas.

Weikuan Gu, pesquisador médico da Universidade do Tennessee, comenta que o chatbot está “usando um artigo real, material real, para lhe dizer algo”, mas alerta que as pessoas se preocupam apenas com a resposta fornecida e não conferem que o artigo foi retratado.

Em seu estudo, o ChatGPT fez referência a artigos retratados em cinco casos e recomendou cautela em três deles. Isso sugere que o modelo da OpenAI pode não ter identificado corretamente que esses artigos haviam sido retratados.

Outro estudo analisou 217 artigos retratados e considerados de baixa qualidade em diferentes áreas. Nenhuma das respostas do ChatGPT-4 mini mencionou as retratações ou possíveis preocupações com o conteúdo.

Risco para que utilizam os chatbots para conselhos médicos

O problema se agrava com o aumento de pessoas usando a IA para pedir orientações médicas ou lidar com questões de saúde mental. Estudantes e pesquisadores também recorrem às ferramentas para revisar e resumir artigos.

Leia mais:

• Inteligência artificial: estudo mostra respostas erradas e vieses em chatbots
• Chatbots da IA julgam dilemas morais de forma diferente
• Chatbots de IA podem criar golpes de phishing eficazes

Se [uma ferramenta] está voltada para o público em geral, usar a retratação como um tipo de indicador de qualidade é muito importante.

Yuanxi Fu, pesquisadora de ciência da informação na Universidade de Illinois, ao MIT Technology Review.

Ela ressalta que, embora artigos retratados devam ser removidos do registro científico, “as pessoas que estão fora da ciência devem ser avisadas” sobre isso ao fazerem suas pesquisas.

Problema não é exclusivo do ChatGPT

A MIT Technology Review também avaliou modelos de IA voltados a trabalhos de pesquisa, utilizando como base as questões retratadas do estudo de Gu. O resultado foi bem parecido com o do ChatGPT:

• Elicit – Citou 5 artigos retratados. A empresa remove artigos retratados sinalizados pelo catálogo acadêmico OpenAlex e trabalha na agregação de outras fontes.
• Ai2 ScholarQA/Asta (Instituto Allen de IA) – Citou 17 artigos retratados. Atualmente, não detecta nem remove automaticamente artigos retratados.
• Perplexity – Citou 11 artigos retratados. A empresa afirma que não há sistema automático de remoção de artigos retratados e não garante 100% da precisão.
• Consensus – Citou 18 artigos retratados no estudo inicial. A empresa começou a usar dados de retratação de editoras, agregadores, rastreamento da web e Retraction Watch. Em testes mais recentes, as citações caíram para cinco.

Outro desafio é que os bancos de dados de retratação não cobrem todos os casos e contam com atualizações lentas, deixando muitos artigos retratados fora da lista. Além disso, cada editora usa rótulos diferentes para demonstrar que o artigo foi retratado, tornando difícil para o usuário identificar rapidamente se o artigo é confiável.