Quem pesquisou sobre armas biológicas no ChatGPT pago – cujo “motor” é o GPT-4 – teve “pequena vantagem” em relação a quem pesquisou sobre o assunto em mecanismos de busca da internet. Essa é a conclusão de um estudo conduzido pela OpenAI.

Para quem tem pressa:

  • Um estudo da OpenAI concluiu que usuários do ChatGPT têm “pequena vantagem” sobre quem pesquisou sobre armas biológicas usando mecanismos de busca convencionais;
  • O estudo foi conduzido pela equipe da OpenAI com intuito de avaliar os riscos e usos indevidos potenciais de seus modelos de inteligência artificial (IA), em resposta às preocupações de cientistas e legisladores;
  • O estudo envolveu 100 participantes – entre eles, especialistas e estudantes de biologia – divididos em dois grupos para comparar a eficácia do GPT-4 e da internet em tarefas relacionadas à fabricação de armas biológicas;
  • Apesar da vantagem modesta em precisão, usuários do GPT-4 produziram respostas mais detalhadas, e estudantes que acessaram o modelo quase equipararam a proficiência dos especialistas em certas tarefas.

A pesquisa foi realizada pela equipe da OpenAI, anunciada em outubro de 2023, com objetivo de avaliar os riscos e possíveis usos indevidos dos modelos de inteligência artificial (IA) da empresa.

Leia mais:

ChatGPT e armas biológicas

Imagem para ilustrar tutorial sobre o ChatGPT
(Imagem: Jonathan Kemper/Unsplash)

O estudo envolveu 100 participantes divididos em dois grupos: especialistas em biologia e estudantes com formação em biologia de nível universitário. Um grupo teve acesso ao GPT-4, enquanto o outro utilizou apenas a internet convencional para realizar cinco tarefas relacionadas à fabricação de armas biológicas.

publicidade

Os resultados mostraram que o grupo que usou GPT-4 teve uma pontuação média de precisão ligeiramente superior nas tarefas. Por um lado, a pesquisa descreve a diferença como estatisticamente significa. Por outro, suas conclusões desafiam a ideia de que a inteligência artificial oferece uma grande vantagem nesse contexto.

No entanto, participantes que utilizaram GPT-4 produziram respostas mais detalhadas. E os estudantes que tiveram acesso ao modelo quase alcançaram o nível de proficiência dos especialistas em algumas tarefas, o que levanta questões sobre o potencial educativo da ferramenta.

A equipe da OpenAI responsável pelo estudo também explora o potencial de ameaças cibernéticas e a influência da IA na mudança de crenças. A ideia é entender e mitigar os riscos associados à tecnologia.

Pontos e contrapontos

Detalhe da página do ChatGPT
(Imagem: Pedro Spadoni/Olhar Digital)

Apesar dos resultados do estudo minimizarem a vantagem fornecida pelo GPT-4 em comparação à internet convencional, críticos argumentam que a pesquisa interna da OpenAI subestima o impacto real do modelo de IA, treinado numa vasta quantidade de dados científicos e outras informações.

O estudo reconheceu que o ChatGPT forneceu uma vantagem “estatisticamente significativa” em termos de precisão total quando não ajustado por múltiplas comparações. Isso contradiz a interpretação inicial de que a IA oferece apenas um leve aumento na precisão e completude das respostas.

A pesquisa da OpenAI levanta o debate sobre o verdadeiro potencial das ferramentas de IA como ChatGPT, especialmente em campos sensíveis como a pesquisa de armas biológicas. Também destaca a importância de considerar as implicações éticas e de segurança ao desenvolver e aplicar essas tecnologias avançadas.