A inteligência artificial agora é tão poderosa que pode levar as pessoas a acreditar que uma imagem do Papa Francisco vestindo casaco branco Balenciaga é real, mas as ferramentas digitais para identificar com segurança imagens falsas estão lutando para acompanhar o ritmo da geração de conteúdo.

Basta perguntar aos pesquisadores da Escola de Tecnologia da Informação da Universidade Deakin, nos arredores de Melbourne, Austrália. Seu algoritmo teve o melhor desempenho na identificação de imagens alteradas de celebridades em conjunto de deepfakes no ano passado, segundo o Índice de Inteligência Artificial 2023 da Universidade de Stanford.

publicidade

Leia mais:

“É um desempenho razoavelmente bom”, disse Chang-Tsun Li, professor do Deakin’s Center for Cyber Resilience and Trust, desenvolvedor do algoritmo, que se mostrou correto em 78% das vezes. “Mas a tecnologia ainda está em desenvolvimento.” Li indicou que o método precisa ser aprimorado antes de estar pronto para uso comercial.

publicidade

Deepfakes não são novidade

Os deepfakes existem há anos e causam preocupação. A ex-presidente da Câmara dos EUA, Nancy Pelosi, parecia estar arrastando as palavras em vídeo adulterado em 2019 que circulou amplamente nas redes sociais.

Cerca de um mês depois, o CEO da Meta, Mark Zuckerberg, foi visto em vídeo alterado para fazer parecer que ele disse algo que não disse depois que o Facebook se recusou a remover o vídeo de Pelosi.

publicidade

Embora a imagem do papa “estiloso” tenha sido manipulação relativamente inofensiva, o potencial de infligir sérios danos causados por deepfakes, desde manipulação eleitoral até atos sexuais, cresceu à medida que a tecnologia avança.

No ano passado, um vídeo falso do presidente da Ucrânia, Volodymyr Zelenskiy, pedindo a seus soldados que se rendessem à Rússia, poderia ter tido sérias repercussões.

publicidade

Grandes empresas de tecnologia, bem como uma onda de startups, investiram dezenas de bilhões de dólares em IA generativa para reivindicar papel de liderança na tecnologia que pode mudar tudo, desde mecanismos de busca até videogames.

No entanto, o mercado global de tecnologia para erradicar conteúdo manipulado é relativamente pequeno. Segundo a empresa de pesquisa HSRC, o mercado global de detecção de deepfake foi avaliado em US$ 3,86 bilhões em 2020 e deve se expandir a taxa composta de crescimento anual de 42% até 2026.

Especialistas concordam haver atenção indevida na geração de IA e não o suficiente na detecção. Um desses é Claire Leibowicz, chefe do Programa de Integridade de IA e Mídia da organização sem fins lucrativos The Partnership on AI.

Enquanto o burburinho em torno da tecnologia, dominado por aplicativos, como o ChatGPT, atingiu pico febril, executivos, como Elon Musk (que já anunciou o TruthGPT) e Sundar Pichai (cuja empresa, o Google, já desenvolveu sua própria IA generativa, o Bard), alertaram sobre os riscos de ir rápido demais.

Vai demorar um pouco até que as ferramentas de detecção estejam prontas para serem usadas para lutar contra a onda de imagens alteradas de aparência realista de programas generativos de IA, como o Midjourney, que produziu a imagem do Papa, e o DALL-E, da OpenAI. Parte do problema é o custo proibitivo de desenvolver detecção precisa e há pouco incentivo legal ou financeiro para fazê-lo.

“Falo com líderes de segurança todos os dias”, disse Jeff Pollard, analista da Forrester Research. “Eles estão preocupados com a IA generativa. Mas, quando se trata de algo como detecção de deepfake, não é algo com que eles gastam o orçamento. Eles têm tantos outros problemas.”

Ainda assim, um punhado de startups, como a Sensity AI, com sede na Holanda, e a Sentinel, com sede na Estônia, estão desenvolvendo tecnologia de detecção de deepfake, assim como muitas das grandes empresas de tecnologia.

A Intel lançou o FakeCatcher em novembro passado como parte de seu trabalho em IA responsável. A tecnologia procura pistas autênticas em vídeos reais, avaliando características humanas, como fluxo sanguíneo nos pixels de um vídeo, e pode detectar falsificações com 96% de precisão, segundo a gigante da tecnologia.

“A motivação para fazer a detecção de deepfake agora não é dinheiro; está ajudando a diminuir a desinformação online”, disse Ilke Demir, cientista sênior de pesquisa da Intel.

Até agora, as startups de detecção de deepfake atendem principalmente a governos e empresas que desejam reduzir a fraude e não visam os consumidores.

Imagem: Panchenko Vladimir/Shutterstock

A Reality Defender, startup apoiada pelo Y-Combinator, cobra taxas com base no número de varreduras que realiza. Esses custos variam de dezenas de milhares a milhões de dólares, a fim de cobrir caros chips de processamento gráfico e poder de computação em nuvem.

Plataformas, como Facebook e Twitter, não são obrigadas por lei a detectar e alertar o conteúdo deepfake em suas plataformas, deixando os consumidores no escuro, disse Ben Colman, CEO da Reality Defender. “As únicas organizações que fazem alguma coisa são aquelas, como bancos, com conexão direta com fraudes financeiras.”

Isso pode mudar à medida que os deepfakes se tornam mais sofisticados e afetam mais pessoas. A IA facilitou replicar a voz de alguém, e os golpes estão aumentando.

Os criminosos estão explorando essas ferramentas para induzir as vítimas a transferir dinheiro ou aprovar transferências financeiras. E uma música viral, “Heart on My Sleeve”, que alegou usar versões AI das vozes de Drake e Weeknd para criar uma cópia aceitável, criou preocupações legais e criativas na indústria da música.

Os métodos atuais de detecção de imagens e vídeos falsos envolvem a comparação de características visuais no conteúdo, treinando computadores para aprender com exemplos e incorporando marcas d’água e impressões digitais de câmeras em trabalhos originais.

Mas a rápida proliferação de deepfakes requer algoritmos e recursos de computação mais poderosos, disse Xuequan Lu, outro professor da Universidade Deakin que trabalhou no algoritmo.

E sem uma ferramenta disponível comercialmente e amplamente adotada para distinguir o conteúdo online falso do real, há muitas oportunidades para os malfeitores.

“O que vejo é bastante semelhante ao que vi nos primeiros dias da indústria de antivírus”, disse Ted Schlein, presidente e sócio geral da Ballistic Ventures, que investe na detecção de deepfake e investiu anteriormente em software antivírus no passado.

À medida que os hacks se tornaram mais sofisticados e prejudiciais, o antivírus foi desenvolvido e acabou se tornando barato o suficiente para que os consumidores pudessem fazer o download em seus PCs.

“Estamos nos estágios iniciais de deepfakes”, que até agora está sendo feito principalmente para fins de entretenimento. “Agora você está apenas começando a ver alguns dos casos maliciosos”, disse Schlein.

Mas, mesmo que seja barato o suficiente, os consumidores podem não estar dispostos a pagar por essa tecnologia, disse Shuman Ghosemajumder, ex-chefe de inteligência artificial da F5, empresa de segurança e prevenção de fraudes. “Os consumidores não querem fazer nenhum trabalho adicional sozinhos. Eles querem ser automaticamente protegidos o máximo possível”, afirmou.

Com informações de Bloomberg

Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!