Estudo mostra que chatbots podem ser induzidos a dar respostas falsas

Pesquisadores da NYU Langone Health, em parceria com especialistas em IA, conduziram um estudo publicado na Nature Medicine que demonstrou como é fácil contaminar conjuntos de dados usados para treinar modelos de linguagem (LLMs), como o ChatGPT.

O estudo investigou o impacto de informações falsas ou imprecisas inseridas intencionalmente em conjuntos de dados de treinamento e como essas informações influenciam as respostas dos modelos.

Para o experimento, os pesquisadores geraram 150 mil documentos médicos contendo dados incorretos e os adicionaram a um conjunto de dados de treinamento médico.

Em seguida, treinaram vários LLMs usando esse conjunto de dados alterado e pediram que gerassem respostas para 5.400 consultas médicas. As respostas foram analisadas por especialistas humanos, que procuraram por exemplos de informações contaminadas.

Leia mais:

• Tratar bem um chatbot pode melhorar seu desempenho – é o que diz um novo estudo
• Novos modelos de IA não admitem quando não sabem responder algo, diz pesquisa
• Método inovador da Microsoft pode tornar grandes modelos de linguagem mais precisos

Resultados levantam preocupação

• Os resultados mostraram que, ao substituir apenas 0,5% dos dados do conjunto de treinamento por documentos falsificados, todos os modelos geraram respostas imprecisas, como afirmar que a eficácia das vacinas contra a COVID-19 não havia sido comprovada.
• Além disso, a maioria dos modelos também cometeu erros ao identificar o propósito de medicamentos comuns.
• Mesmo quando a quantidade de dados contaminados foi reduzida para 0,01%, cerca de 10% das respostas dos LLMs ainda estavam incorretas.
• Quando a contaminação foi reduzida para 0,001%, 7% das respostas ainda continham informações erradas. Isso sugere que até uma pequena quantidade de dados imprecisos pode distorcer significativamente as respostas de LLMs.

Os pesquisadores também criaram um algoritmo para identificar dados contaminados e usaram referências cruzadas para validar as informações. No entanto, eles alertaram que não há uma solução prática para detectar e remover informações falsas de grandes conjuntos de dados públicos.

Esse estudo destaca os desafios de garantir a precisão e confiabilidade das respostas geradas por IA, especialmente em contextos sensíveis, como a área médica.