Empresas de IA concordam em reprimir geração de imagens de abuso infantil

Empresas de tecnologia como Google, Meta, OpenAI, Microsoft e Amazon concordaram em revisar seus dados de treinamento de IA para material de abuso sexual infantil (CSAM) e removê-los de uso em quaisquer modelos futuros. As informações são do The Verge.

Leia mais:

• Twitter falha em impedir publicações de abuso infantil, diz estudo
• Como a IA pode atrapalhar investigações de pedofilia e exploração sexual
• 6 dicas para manter as crianças seguras no mundo online

Como já havíamos noticiado, um relatório anual do Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC) revelou que os casos de abuso infantil envolvendo IA aumentaram em 2023.

O acordo firmado com as companhias leva a um novo conjunto de princípios que limitam a proliferação de CSAM. A promessa é garantir que os conjuntos de dados de treinamento não contenham CSAM, evitar conjuntos de dados com alto risco de incluir CSAM e remover imagens de CSAM ou links para CSAM das fontes de dados.

As empresas também se comprometem a fazer “testes de resistência” aos modelos de IA para garantir que não geram quaisquer imagens CSAM; e modelos de IA só serão lançados se estes tiverem sido avaliados quanto à segurança infantil. Outros signatários incluem Anthropic, Civitai, Metaphysic, Mistral AI e Stability AI.

Como a IA generativa aumentou a proliferação de abuso infantil online

• A IA generativa aumentou preocupações com imagens deepfake, incluindo a proliferação de fotos falsas de CSAM online.
• Pesquisadores de Stanford divulgaram um relatório em dezembro que descobriu que um conjunto de dados usado para treinar alguns modelos de IA continha links para imagens CSAM.
• Os pesquisadores também descobriram que uma linha de denúncias administrada pelo NCMEC, que já luta para lidar com o volume de conteúdo CSAM relatado, está sendo rapidamente sobrecarregada por imagens CSAM geradas por IA.

A Thorn, uma organização anti abuso infantil sem fins lucrativos, que ajudou a criar os princípios de All Tech Is Human, afirma que a geração de imagens de IA pode impedir os esforços para identificar vítimas, criar mais demanda por CSAM, permitir novas maneiras de vitimizar crianças e ainda facilitar a busca por informações sobre como compartilhar material problemático.

O Google afirma que além de se comprometer com os princípios, também aumentou as bolsas de publicidade para o NCMEC promover suas iniciativas.

A vice-presidente de soluções de confiança e segurança do Google, Susan Jasper, alega que apoiar essas campanhas aumenta a conscientização pública e dá às pessoas ferramentas para identificar e denunciar abusos.