IA é mais manipulável do que se imaginava, diz estudo

Pesquisa mostrou que redes amplamente usadas de IA têm falhas que podem ser exploradas propositalmente, mas há um jeito de corrigir isso
Por Vitoria Lopes Gomez, editado por Bruno Capozzi 06/12/2023 05h40
Pessoa prestes a tocar linhas de programação de inteligência artificial
(Imagem: NicoElNino/Shutterstock)
Compartilhe esta matéria
Ícone Whatsapp Ícone Whatsapp Ícone X (Tweeter) Ícone Facebook Ícone Linkedin Ícone Telegram Ícone Email

Ferramentas de inteligência artificial já são usadas amplamente, passando por chatbots conversacionais, sistemas de direção autônoma e medicina. No entanto, um novo estudo revelou que a IA é muito mais vulnerável do que se imaginava e que basta conhecer a falha para manipular a tecnologia a fazer o que o usuário quiser.

Leia mais:

IA vulnerável

De acordo com o estudo, a IA está vulnerável a ataques direcionados de usuários maliciosos que queriam manipulá-la. O artigo os chama de “ataques adversários”, uma ação que manipula propositalmente os dados inseridos em um sistema para confundi-lo.

O exemplo dado pela pesquisa é de uma placa de “PARE” na rua. Normalmente, um modelo de direção autônomo treinado com IA identifica a placa e realmente para o carro. No entanto, um usuário mal-intencionado pode descobrir uma vulnerabilidade, como cobrir algumas das letras da placa com um adesivo, para fazer com que a tecnologia não mais a interprete da mesma forma e tome outra ação. Ou seja, o carro não pararia e poderia causar um acidente.

Outro exemplo é na medicina. Um modelo de linguagem que fornece diagnósticos pode ser manipulado para interpretar uma certa imagem de forma diferente e dar resultados imprecisos ou falsos, prejudicando um tratamento de saúde.

O estudo explica que isso é feito de forma intencional, ou seja, o invasor procura e conhece a vulnerabilidade do sistema.

Como parar isso?

  • Segundo o site TechXplore, para testar isso, os pesquisadores criaram um software chamado QuadAttacK, que pode ser usado para testar as falhas em qualquer rede neural de IA.
  • Um dos responsáveis pelo estudo explicou: ao testar o modelo de IA com dados limpos, ele agirá conforme previsto. A novidade do software é que ele identifica essas operações e aprende como a tecnologia toma decisões para gerar um resultado “certo”, aprendendo também como fazê-la gerar um resultado manipulado.
  • Então, o QuadAttacK testa a IA até descobrir exatamente qual a vulnerabilidade dela e, tendo essa informação, começa a enviar dados manipulados para ver como ela responde.
  • O estudo colocou em prática os testes usando quatro redes neurais profundas (ResNet-50, DenseNet-121, ViT-B e DEiT-S) e descobriu que as quatro eram vulneráveis.
  • Após a conclusão do estudo, eles disponibilizaram o QuadAttacK publicamente para que desenvolvedores possam usá-lo para identificar falhas e consertá-las.

Vitória Lopes Gomez é jornalista formada pela UNESP e redatora no Olhar Digital.

Bruno Capozzi é jornalista formado pela Faculdade Cásper Líbero e mestre em Ciências Sociais pela PUC-SP, tendo como foco a pesquisa de redes sociais e tecnologia.