Perigos da IA: técnica expõe fragilidade de chatbots

Uma descoberta preocupante revela como chatbots de IA podem ser induzidos a ignorar restrições de segurança
Ana Luiza Figueiredo02/08/2023 12h59
chatbots
Imagem: Smile Studio AP / Shutterstock.com
Compartilhe esta matéria
Ícone Whatsapp Ícone Whatsapp Ícone X (Tweeter) Ícone Facebook Ícone Linkedin Ícone Telegram Ícone Email

Pesquisadores da Universidade Carnegie Mellon divulgaram um estudo preocupante que destaca uma falha de segurança em chatbots de inteligência artificial generativa. A equipe conseguiu desenvolver uma técnica que permite desbloquear respostas perigosas nessas ferramentas de IA.

  • Essa descoberta coloca em xeque a eficácia das limitações de segurança impostas em grandes modelos de linguagem, como ChatGPT, Bard, Llama, entre outros projetos de inteligência artificial.
  • Os chatbots são normalmente programados para não responder a perguntas consideradas perigosas ou impróprias, como solicitações para construir bombas ou outras atividades ilegais.
  • No entanto, os pesquisadores descobriram uma maneira automatizada de contornar essas restrições.
  • A técnica consiste em adicionar textos aparentemente aleatórios ao final de cada pergunta.
  • Dessa forma, o chatbot é induzido a ignorar a parte potencialmente perigosa da pergunta e responder normalmente.

Leia mais:

Ao usar essa abordagem, os chatbots não reconhecem a parte problemática da pergunta e respondem como se não houvesse conteúdo perigoso envolvido. Os pesquisadores conduziram os testes utilizando a API desses sistemas, e não por meio de interfaces de sites publicamente acessíveis.

Essa vulnerabilidade, conhecida como “jailbreak” de chatbots, pode abrir portas para usos indevidos dessas aplicações. Imagine um cenário em que indivíduos mal-intencionados possam obter informações inseguras ou manipular os chatbots para obter respostas inadequadas.

Diante dessas descobertas alarmantes, a equipe de pesquisadores entrou em contato com as principais empresas que desenvolvem projetos de inteligência artificial generativa para alertá-las sobre os resultados. Essas empresas agora enfrentam o desafio de aprimorar suas tecnologias para mitigar essa vulnerabilidade e garantir a segurança e integridade de suas plataformas.

Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!

Ana Luiza Figueiredo é repórter do Olhar Digital. Formada em Jornalismo pela Universidade Federal de Uberlândia (UFU), foi Roteirista na Blues Content, criando conteúdos para TV e internet.