IA é mais manipulável do que se imaginava, diz estudo

Ferramentas de inteligência artificial já são usadas amplamente, passando por chatbots conversacionais, sistemas de direção autônoma e medicina. No entanto, um novo estudo revelou que a IA é muito mais vulnerável do que se imaginava e que basta conhecer a falha para manipular a tecnologia a fazer o que o usuário quiser.

Leia mais:

• Direção autônoma: hacker consegue fazer veículo “alucinar”; entenda
• Pesquisa mostra como IA pode ser usada para melhorar direção autônoma
• Uber: como ver sua avaliação de usuário

IA vulnerável

De acordo com o estudo, a IA está vulnerável a ataques direcionados de usuários maliciosos que queriam manipulá-la. O artigo os chama de “ataques adversários”, uma ação que manipula propositalmente os dados inseridos em um sistema para confundi-lo.

O exemplo dado pela pesquisa é de uma placa de “PARE” na rua. Normalmente, um modelo de direção autônomo treinado com IA identifica a placa e realmente para o carro. No entanto, um usuário mal-intencionado pode descobrir uma vulnerabilidade, como cobrir algumas das letras da placa com um adesivo, para fazer com que a tecnologia não mais a interprete da mesma forma e tome outra ação. Ou seja, o carro não pararia e poderia causar um acidente.

Outro exemplo é na medicina. Um modelo de linguagem que fornece diagnósticos pode ser manipulado para interpretar uma certa imagem de forma diferente e dar resultados imprecisos ou falsos, prejudicando um tratamento de saúde.

O estudo explica que isso é feito de forma intencional, ou seja, o invasor procura e conhece a vulnerabilidade do sistema.

Como parar isso?

• Segundo o site TechXplore, para testar isso, os pesquisadores criaram um software chamado QuadAttacK, que pode ser usado para testar as falhas em qualquer rede neural de IA.
• Um dos responsáveis pelo estudo explicou: ao testar o modelo de IA com dados limpos, ele agirá conforme previsto. A novidade do software é que ele identifica essas operações e aprende como a tecnologia toma decisões para gerar um resultado “certo”, aprendendo também como fazê-la gerar um resultado manipulado.
• Então, o QuadAttacK testa a IA até descobrir exatamente qual a vulnerabilidade dela e, tendo essa informação, começa a enviar dados manipulados para ver como ela responde.
• O estudo colocou em prática os testes usando quatro redes neurais profundas (ResNet-50, DenseNet-121, ViT-B e DEiT-S) e descobriu que as quatro eram vulneráveis.
• Após a conclusão do estudo, eles disponibilizaram o QuadAttacK publicamente para que desenvolvedores possam usá-lo para identificar falhas e consertá-las.