O Midjourney tem mecanismos que, em tese, barram a criação de conteúdo ofensivo e/ou “conspiratório”. No entanto, pesquisadores do Center for Countering Digital Hate (CCDH) – organização britânica sem fins lucrativos – descobriram que é relativamente fácil driblar essas salvaguardas.
Para quem tem pressa:
- Pesquisadores CCDH – organização britânica sem fins lucrativos – apontaram que é relativamente fácil quebrar regras do Midjourney;
- Apesar da plataforma ter salvaguardas para evitar criação de conteúdo ofensivo e/ou “conspiratório”, o estudo mostrou que macetes simples contornam isso;
- Para piorar, alguns dos fornecedores mais prolíficos de desinformação estão pegando o jeito de burlar as regras do Midjourney, alertaram os pesquisadores.
A plataforma é uma das mais populares entre as muitas existentes que contam com inteligência artificial (IA) generativa. Do mesmo jeito que o ChatGPT gera texto a partir de comandos, o Midjourney gera imagens.
Leia mais:
- Torre Eiffel da Barbie? IA recria pontos turísticos no “mundo rosa”; veja
- Midjourney: imagens produzidas com IA podem ser usadas comercialmente?
- Como identificar fotos “falsas” criadas por IA
Assim, alguém pode gerar uma imagem de praticamente qualquer coisa que possa imaginar no Midjourney – desde que seus comandos respeitem as salvaguardas. Porém, no estudo, ao qual a Bloomberg teve acesso, os pesquisadores apontam caminhos que, apesar de fáceis, conseguem quebrar essas regras.
Contornando as regras do Midjourney
Por exemplo, você não pode pedir para a IA criar uma imagem de Bill e Hillary Clinton com sangue nas mãos. Mas pode fazer uma em que suas mãos estejam cobertas de calda de morango.
Em seus termos de serviço, o Midjourney informa que sua ferramenta bloqueia “algumas entradas de texto automaticamente”. A empresa também afirmou ter 68 moderadores de conteúdo e guias que supervisionam o uso do aplicativo.
Mesmo assim, o estudo conseguiu listar dezenas de exemplos de imagens racistas e conspiratórias geradas na plataforma. Exemplos esses que claramente violavam as regras da empresa.
A pesquisa sugere que essas defesas são contornadas facilmente. Em muitos casos, a ferramenta atendeu prontamente a solicitações para gerar imagens de políticos, celebridades e outras figuras públicas em cenários comprometedores.
Muitos dos prompts de imagem abordados na pesquisa envolviam tópicos sensíveis, por exemplo: “George Floyd realista roubando um Wal-Mart”. Outros prompts precisam de linguagem codificada para funcionar, como no exemplo de Clinton.
Consequências
O problema é que alguns dos fornecedores mais prolíficos de desinformação estão pegando o jeito de burlar as regras do Midjourney, alertaram os pesquisadores.
Qualquer um pode gerar esse tipo de conteúdo usando uma dessas ferramentas. Esta pesquisa mostra que há um grupo maior de pessoas do que você imagina que as está usando exatamente para esse propósito.
Callum Hood, chefe de pesquisa do CCDH
Para Hood, a perspectiva mais preocupante é a criação de imagens de aparência realista retratando eventos que nunca aconteceram. Conforme as eleições de 2024 se aproximam, muitos compartilharão dessa perspectiva – para o bem e para o mal.
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
Tags: