Citações de fontes jornalísticas do ChatGPT não são precisas, diz estudo

Apesar dos acordos de licenciamento, jornais enfrentam riscos de imprecisão e danos à reputação com as citações geradas pela OpenAI
Por Leandro Costa Criscuolo, editado por Bruno Ignacio de Lima 02/12/2024 19h56
Logo do ChatGPT e da OpenAI
(Imagem: Mamun sheikh K/Shutterstock)
Compartilhe esta matéria
Ícone Whatsapp Ícone Whatsapp Ícone X (Tweeter) Ícone Facebook Ícone Linkedin Ícone Telegram Ícone Email

Um estudo divulgado pelo Tow Center for Digital Journalism investiga como o ChatGPT, da OpenAI, gera citações de conteúdo de veículos de imprensa. A pesquisa, realizada na Columbia Journalism School, revela que, apesar dos acordos de licenciamento entre a OpenAI e alguns editores, o chatbot ainda tende a inventar ou distorcer informações.

Isso acontece independentemente de os veículos permitirem ou não o rastreamento de seus conteúdos pela OpenAI.

O estudo analisou 200 citações extraídas de 20 veículos, incluindo o New York Times, The Washington Post e The Financial Times, e verificou a precisão das fontes identificadas pelo ChatGPT.

chatgpt
Maioria das citações fornecidas pelo ChatGPT estavam erradas – Imagem: Primakov/Shutterstock

Embora algumas citações estivessem corretas, muitas estavam erradas; o chatbot raramente reconhecia quando não conseguia fornecer uma resposta precisa, frequentemente inventando fontes falsas.

Leia mais:

ChatGPT pode citar fontes que plagiaram outros jornais

  • O estudo também apontou que o ChatGPT pode, inadvertidamente, favorecer fontes plagiadas. Em um caso, o chatbot citou incorretamente um site que havia copiado uma matéria do New York Times.
  • Os pesquisadores também descobriram que os editores que bloquearam os rastreadores da OpenAI não estavam totalmente protegidos, pois o chatbot ainda gerava citações incorretas de seu conteúdo.
  • Os resultados sugerem que os editores têm pouca “agência significativa” sobre como seu conteúdo é tratado pelo ChatGPT.

A OpenAI, por sua vez, respondeu ao estudo alegando que os pesquisadores realizaram um teste atípico. A startup reafirmou seu compromisso em melhorar a precisão das citações e respeitar as preferências dos editores.

O estudo destaca que, apesar dos acordos de licenciamento, a precisão das fontes geradas pela OpenAI ainda é inconsistente, gerando riscos para a reputação dos editores.

Imagem para ilustrar tutorial sobre o ChatGPT
OpenAI diz que resultados do estudo são atípicos e trabalha para que as citações sejam sempre precisas (Imagem: Koshiro K/Shutterstock.com)
Leandro Costa Criscuolo
Colaboração para o Olhar Digital

Leandro Criscuolo é jornalista formado pela Faculdade Cásper Líbero. Já atuou como copywriter, analista de marketing digital e gestor de redes sociais. Atualmente, escreve para o Olhar Digital.

Bruno Ignacio é jornalista formado pela Faculdade Cásper Líbero. Com 10 anos de experiência, é especialista na cobertura de tecnologia. Atualmente, é editor de Dicas e Tutoriais no Olhar Digital.

Ícone tagsTags: