Caracteres invisíveis: a nova ameaça cibernética em assistentes de IA

Assistentes de inteligência artificial podem ser explorados por meio de caracteres invisíveis compreendidos pela IA, mas não por humanos
Ana Luiza Figueiredo15/10/2024 12h51
shutterstock_2480966617-1920x917
(Imagem: Teerachai Jampanak / Shutterstock.com)
Compartilhe esta matéria
Ícone Whatsapp Ícone Whatsapp Ícone X (Tweeter) Ícone Facebook Ícone Linkedin Ícone Telegram Ícone Email

Siga o Olhar Digital no Google Discover

Uma nova vulnerabilidade em assistentes de inteligência artificial (IA) como ChatGPT, Copilot e outros está sendo explorada por hackers, que utilizam caracteres invisíveis para transmitir comandos maliciosos ou extrair informações confidenciais sem que os usuários percebam.

Ofertas

Controle Remoto com Comando de Voz Compatível Com Stick, Stick 4K - Compatível com Modelos Stick Tv - Teclas de Atalho e Funções de Controle de TV - TODOS OS MODELOS
Vendido por Amazon
Controle Remoto com Comando de Voz Compatível Com Stick, Stick 4K - Compatível com Modelos Stick Tv - Teclas de Atalho e Funções de Controle de TV - TODOS OS MODELOS
De: R$ 48,76
Por: R$ 46,32
Notebook VAIO FE16 AMD Ryzen 5-5625U Linux 8GB RAM 256GB SSD Wi-Fi 6 Tela 16'' IPS WUXGA Antirreflexo - Cinza Grafite - VJFE69F11X-B0411H - Permite upgrade de memória RAM e SSD
Vendido por Amazon
Notebook VAIO FE16 AMD Ryzen 5-5625U Linux 8GB RAM 256GB SSD Wi-Fi 6 Tela 16'' IPS WUXGA Antirreflexo - Cinza Grafite - VJFE69F11X-B0411H - Permite upgrade de memória RAM e SSD
De: R$ 2.889,00
Por: R$ 2.699,90
Placa de Vídeo Gainward - GeForce RTX 3070 Phoenix, 8GB GDDR6
Vendido por Amazon
Placa de Vídeo Gainward - GeForce RTX 3070 Phoenix, 8GB GDDR6
Por R$ 3.766,47
JBL, Fone de Ouvido Bluetooth, Tune Buds 2, Intra Auricular, Sem Fio, Com Cancelamento de Ruído, Bateria de até 48h, Som JBL Pure Bass - Branco
Vendido por Amazon
JBL, Fone de Ouvido Bluetooth, Tune Buds 2, Intra Auricular, Sem Fio, Com Cancelamento de Ruído, Bateria de até 48h, Som JBL Pure Bass - Branco
De: R$ 599,00
Por: R$ 489,00
Anker 332 Hub USB-C [5 em 1, HDMI 4K, 2 Portas USB-A 5 Gbps], Compatível com MacBook Pro, MacBook Air, Dell XPS, Lenovo ThinkPad, HP e Mais
Vendido por Amazon
Anker 332 Hub USB-C [5 em 1, HDMI 4K, 2 Portas USB-A 5 Gbps], Compatível com MacBook Pro, MacBook Air, Dell XPS, Lenovo ThinkPad, HP e Mais
De: R$ 229,00
Por: R$ 169,00
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
Vendido por Amazon
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
De: R$ 78,00
Por: R$ 74,10
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
Vendido por Amazon
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
De: R$ 78,00
Por: R$ 74,10
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
Vendido por Amazon
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
Por R$ 78,00
Wacom One Display Interativo 13 Polegadas Touch, Tela IPS Full HD, DTH134, Preto, para Educação, Escritório e Criação
Vendido por Amazon
Wacom One Display Interativo 13 Polegadas Touch, Tela IPS Full HD, DTH134, Preto, para Educação, Escritório e Criação
De: R$ 3.559,90
Por: R$ 1.435,96
KOSPET Tank T3 Ultra Smartwatch, 50M à prova de água, GPS, bússola, pressão do ar, altitude, aço inoxidável completo, chamada Bluetooth, ecrã AMOLED sempre activo de 1,43'', voz AI Banda de Metal
Vendido por Amazon
KOSPET Tank T3 Ultra Smartwatch, 50M à prova de água, GPS, bússola, pressão do ar, altitude, aço inoxidável completo, chamada Bluetooth, ecrã AMOLED sempre activo de 1,43'', voz AI Banda de Metal
De: R$ 899,99
Por: R$ 764,99
WAAW by ALOK Caixa de Som INFINITE 700 Bluetooth, Tipo Torre, Até 20h de Autonomia, 3 Alto-Falantes, TWS, 700W RMS
Vendido por Amazon
WAAW by ALOK Caixa de Som INFINITE 700 Bluetooth, Tipo Torre, Até 20h de Autonomia, 3 Alto-Falantes, TWS, 700W RMS
De: R$ 3.799,90
Por: R$ 3.369,83
Apple Watch SE 3 GPS, Caixa em alumínio luz das estrelas de 44 mm com Bracelete desportiva luz das estrelas - M/G
Vendido por Amazon
Apple Watch SE 3 GPS, Caixa em alumínio luz das estrelas de 44 mm com Bracelete desportiva luz das estrelas - M/G
De: R$ 3.699,00
Por: R$ 2.998,99
Apple Watch Series 11 GPS, Caixa em alumínio rosa‑dourado de 42 mm com Bracelete desportiva rosa leve - M/G
Vendido por Amazon
Apple Watch Series 11 GPS, Caixa em alumínio rosa‑dourado de 42 mm com Bracelete desportiva rosa leve - M/G
De: R$ 5.499,00
Por: R$ 4.599,00
eufy SoloCam S220 por anker, Câmera De Segurança Wi-Fi Externa, Solar Sem Fio Externa, 2K, Energia Contínua, Monitoramento inteligente de IA, Trabalha Com Alexa/HomeBase 3, Sem Taxa Mensal
Vendido por Amazon
eufy SoloCam S220 por anker, Câmera De Segurança Wi-Fi Externa, Solar Sem Fio Externa, 2K, Energia Contínua, Monitoramento inteligente de IA, Trabalha Com Alexa/HomeBase 3, Sem Taxa Mensal
De: R$ 549,00
Por: R$ 521,00
Anker Laptop Power Bank, 25.000mAh Carregador Portátil para Notebook, 3-Portas 100W USB-C, Cabos Retráteis Integrados, Aprovado para Viagens Aéreas, Compatível com iPhone 17, Samsung e Mais
Vendido por Amazon
Anker Laptop Power Bank, 25.000mAh Carregador Portátil para Notebook, 3-Portas 100W USB-C, Cabos Retráteis Integrados, Aprovado para Viagens Aéreas, Compatível com iPhone 17, Samsung e Mais
De: R$ 1.199,00
Por: R$ 899,00
soundcore Select 4 Go da Anker, Alto-Falante Bluetooth Portátil, 20H de Bateria, IP67 à Prova d'Água e Poeira, Flutuante, Som Potente, Ideal para Ambientes Internos, Externos e Passeios
Vendido por Amazon
soundcore Select 4 Go da Anker, Alto-Falante Bluetooth Portátil, 20H de Bateria, IP67 à Prova d'Água e Poeira, Flutuante, Som Potente, Ideal para Ambientes Internos, Externos e Passeios
De: R$ 339,00
Por: R$ 199,00
Anker MagGo Power Bank, Bateria Magnética Ultra Fina de 10.000mAh, Certificação Qi2, Portátil, Carregador MagSafe Compatível de 15W Ultra Rápido, Compatível com iPhone 17/16/15, Samsung,Xiaomi e Mais
Vendido por Amazon
Anker MagGo Power Bank, Bateria Magnética Ultra Fina de 10.000mAh, Certificação Qi2, Portátil, Carregador MagSafe Compatível de 15W Ultra Rápido, Compatível com iPhone 17/16/15, Samsung,Xiaomi e Mais
De: R$ 499,00
Por: R$ 469,00
Apple 2025 iPad (Wi-Fi + Cellular, 128 GB) - Azul (A16)
Vendido por Amazon
Apple 2025 iPad (Wi-Fi + Cellular, 128 GB) - Azul (A16)
De: R$ 6.499,00
Por: R$ 5.219,10

Esses caracteres, que fazem parte de um conjunto peculiar do padrão de codificação de texto Unicode, criam um canal oculto ideal para que invasores insiram e exfiltrem dados, como senhas ou informações financeiras.

Esse tipo de ataque se baseia na capacidade dos modelos de linguagem, como GPT-4 e Claude, de reconhecer e interpretar esses caracteres invisíveis. Enquanto um ser humano não consegue enxergá-los em navegadores ou em outros aplicativos comuns, as inteligências artificiais podem processá-los como texto legível, o que torna esses ataques mais viáveis em diversas áreas.

O método foi descrito em um artigo do Ars Technica.

O conceito de “ASCII Smuggling”

A técnica, denominada “ASCII Smuggling” (contrabando de ASCII), foi introduzida pelo pesquisador Johann Rehberger, que demonstrou dois ataques de prova de conceito no início deste ano, direcionados ao Microsoft 365 Copilot. O ataque consistia em acessar caixas de e-mail dos usuários em busca de informações confidenciais, como cifras de vendas ou senhas de uso único (OTP), e depois ocultá-las em uma URL com caracteres invisíveis.

Esses caracteres não aparecem visualmente para o usuário, que poderia clicar em um link aparentemente inofensivo gerado pelo Copilot. No entanto, ao acessar o URL, os dados secretos são transmitidos para o servidor do invasor, que, utilizando ferramentas como o “ASCII Smuggler”, consegue decodificar o conteúdo oculto e obter informações sensíveis.

A Microsoft foi notificada sobre o problema e implementou algumas medidas de mitigação meses após o relato de Rehberger, mas os ataques serviram como um alerta para os riscos potenciais dessas técnicas.

Injeção de comandos através de “prompt injection”

O principal vetor de exploração nos ataques de Rehberger foi a técnica chamada de “prompt injection” (injeção de prompt). Nessa abordagem, os invasores inserem comandos ocultos em dados aparentemente confiáveis, que são processados como instruções pelo modelo de IA. No caso dos ataques ao Copilot, o invasor induziu o modelo a vasculhar e-mails antigos em busca de cifras de vendas ou senhas temporárias, e a adicionar essas informações a um URL.

A exploração de falhas de segurança por meio da injeção de prompts é um problema crescente no desenvolvimento de IAs generativas. Em muitos casos, o modelo é enganado a interpretar dados não confiáveis como comandos legítimos, o que pode resultar na execução de ações prejudiciais.

Unicode: um canal oculto para ataques

A vulnerabilidade explorada por Rehberger envolve uma peculiaridade no padrão Unicode, que suporta mais de 150 mil caracteres, incluindo alguns que são invisíveis aos usuários, mas interpretáveis por sistemas de IA.

Especificamente, um bloco de 128 caracteres no Unicode foi projetado para servir como identificadores de idiomas ou países, mas acabou sendo abandonado em versões posteriores. Esses caracteres, conhecidos como “bloco de Tags”, foram descontinuados, mas permanecem como parte do padrão e podem ser usados para esconder dados.

Pesquisadores como Riley Goodside descobriram que esses caracteres invisíveis podem ser aproveitados por sistemas de IA para realizar ataques semelhantes aos de texto branco (white text) em currículos ou textos acadêmicos, onde as palavras-chave escondidas não são visíveis para humanos, mas são lidas por algoritmos de triagem.

unicode
Vulnerabilidade envolve peculiaridade do padrão Unicode. (Imagem: Paolo De Gasperis / Shutterstock.com)

Casos práticos de exploração

Além dos ataques contra o Copilot, pesquisadores demonstraram outras formas de manipular os modelos de IA usando texto invisível.

Por exemplo, Goodside, que tem se destacado na pesquisa de segurança em IA, demonstrou em 2022 que era possível enganar um bot automatizado no Twitter rodando em GPT-3 a responder perguntas com frases embaraçosas. Ele usou a técnica descrita em um artigo científico sobre injeção de conteúdo adversarial para fazer o bot desobedecer suas instruções originais.

Essa técnica também foi empregada por professores universitários que inseriam instruções ocultas em textos acadêmicos para identificar o uso de chatbots por estudantes na redação de ensaios. Essas instruções invisíveis direcionavam os modelos de IA a incluir certas referências, que serviam como um sinalizador de que o texto havia sido gerado artificialmente.

Tabela de comportamento de LLMs em relação a ataques de caracteres invisíveis

Os comportamentos variam entre os diferentes modelos de linguagem quanto à sua capacidade de reconhecer e interpretar caracteres invisíveis. Abaixo está uma tabela com os principais LLMs e suas respostas a esses ataques:

Modelo de IAReconhecimento de caracteres invisíveisVulnerável a “prompt injection”?Medidas de proteção implementadas
GPT-4SimSimMitigação parcial
ClaudeSimSimProteção moderada
Microsoft CopilotSimSimMedidas de segurança avançadas, mas com falhas
BardSimSimMitigação em desenvolvimento
LLaMASimSimVulnerável, sem medidas efetivas
MistralNãoNãoMenos exposto devido à arquitetura

Leia mais:

Ameaça contínua à segurança na inteligência artificial

Os ataques envolvendo caracteres invisíveis são apenas uma das várias maneiras pelas quais a segurança da IA pode ser comprometida. Os modelos de linguagem são vulneráveis a diversos tipos de ataques que exploram sua capacidade de processar informações que os humanos não conseguem perceber.

Pesquisas em andamento estão focadas em explorar a possibilidade de ataques por meio de mensagens secretas embutidas em sons, imagens e outros esquemas de codificação de texto.

Apesar das medidas de mitigação que foram implementadas por empresas como a Microsoft e a OpenAI, o pesquisador Joseph Thacker alerta que o problema ainda persiste. A solução não está sendo aplicada no nível dos modelos de IA, o que significa que cada novo aplicativo desenvolvido com essas ferramentas pode ser vulnerável.

código
Medidas de mitigação foram implementadas, mas o problema persiste. (Imagem: khunkornStudio / Shutterstock.com)

Essa ameaça pode ser comparada a falhas de segurança como a injeção de SQL ou o cross-site scripting, que continuam a ser exploradas mesmo após anos de desenvolvimento de medidas de segurança. “Cada novo desenvolvedor precisa estar ciente desses problemas e bloquear o uso de caracteres invisíveis”, afirmou Rehberger.

O futuro da segurança em IA

O problema dos caracteres invisíveis e a injeção de comandos em sistemas de IA é um reflexo da falta de práticas de segurança robustas durante o desenvolvimento desses modelos. A abordagem atual tem sido permitir uma grande quantidade de tokens, incluindo aqueles que podem ser mal utilizados por atacantes. Isso cria brechas que podem ser exploradas em diversos contextos.

Os pesquisadores de segurança em IA destacam a necessidade de uma revisão dessas práticas e a implementação de listas de permissões mais restritas para tokens que podem ser processados pelos modelos de IA. À medida que a tecnologia avança e mais recursos são adicionados, novos vetores de ataque podem surgir, exigindo constante vigilância.

Como destacou Riley Goodside, a habilidade das IAs de entenderem dados que os humanos não conseguem perceber continuará sendo uma questão de segurança crítica nos próximos anos.

Ana Luiza Figueiredo é repórter do Olhar Digital. Formada em Jornalismo pela Universidade Federal de Uberlândia (UFU), foi Roteirista na Blues Content, criando conteúdos para TV e internet.