Anthropic coloca avaliadores externos dentro da empresa para testar a segurança dos seus modelos de IA

Parceria permitirá que especialistas da Faculty, divisão de IA da Accenture, trabalhem dentro da Anthropic para avaliar os mecanismos de segurança da empresa
Logo da Anthropic
Empresa escolhida vai avaliar a segurança dos modelos de IA da Anthropic - Imagem: Mehaniq/Shutterstock

A Anthropic escolheu a Accenture como sua primeira avaliadora externa incorporada (“embedded evaluator”), em medida concreta para começar a colocar em prática a proposta do CEO, Dario Amodei, de desacelerar o ritmo de desenvolvimento dos sistemas de inteligência artificial (IA) mais avançados.

Continua após a publicidade

A parceria permitirá que especialistas da Faculty, divisão de IA da Accenture, trabalhem dentro da Anthropic para avaliar os mecanismos de segurança da empresa. A iniciativa prevê testes de salvaguardas, exercícios de red team e análises para verificar se os modelos de IA estão se comportando de acordo com valores humanos.

Anthropic e Accenture concordaram em investir pelo menos US$ 1 bilhão (cerca de R$ 5,3 bilhões) na construção de capacidade nessa área ao longo dos próximos cinco anos. A Anthropic, porém, afirmou que, devido à importância e à urgência do trabalho, financiará diretamente as atividades da Accenture.

A empresa disse que, no longo prazo, a expectativa é que esse tipo de trabalho seja financiado por recursos compartilhados ou governamentais, conforme previsto no Advanced AI Framework apresentado pela Anthropic em junho. Como essas estruturas ainda não existem, a companhia pretende trabalhar com diferentes avaliadores e modelos de financiamento.

Avaliadores terão acesso interno à Anthropic

A proposta de Amodei prevê que avaliadores independentes recebam acesso em nível de funcionário às empresas de IA. O objetivo é permitir que esses especialistas verifiquem diretamente as práticas de segurança e comuniquem incidentes.

Ao anunciar sua proposta, Amodei afirmou que a Anthropic se comprometeria “unilateralmente” com essa primeira etapa e incentivou outras empresas do setor a fazerem o mesmo.

Leia mais:

Logo da Accenture em um smartphone
Anthropic e Accenture concordaram em investir pelo menos R$ 5,3 bilhões na construção de capacidade nessa área ao longo dos próximos cinco anos – Imagem: Mamun_Sheikh/Shutterstock

A parceria com a Accenture não será exclusiva. A Anthropic afirmou que também está conversando com a organização de pesquisa sem fins lucrativos METR e com outras entidades que poderão participar do processo.

A empresa ressaltou, porém, que continuará sendo responsável pela segurança de seus modelos. A presença de avaliadores externos dentro da companhia não reduzirá essa responsabilidade.

“Estamos compartilhando esses primeiros esforços agora para que as pessoas e outros desenvolvedores de IA possam ver nosso processo”, afirmou a Anthropic. A empresa acrescentou que espera aperfeiçoar a abordagem conforme o setor amadurecer e que divulgará novas informações à medida que o trabalho começar e outros avaliadores forem incorporados.

Proposta de Amodei gerou reação no setor

  • Amodei apresentou seu plano de três etapas para conter o ritmo de avanço dos sistemas mais sofisticados de IA em meio ao aumento das discussões sobre os riscos associados ao desenvolvimento acelerado da tecnologia;
  • A proposta recebeu apoio de alguns executivos do setor, incluindo o CEO da OpenAI, Sam Altman, e Elon Musk, CEO da Tesla e da SpaceX. Outros adotaram posição diferente. Jensen Huang, CEO da Nvidia, rejeitou as preocupações e argumentou que não haveria necessidade de novas regulamentações;
  • A iniciativa também levantou questionamentos sobre como a proposta poderia funcionar na prática, especialmente enquanto a Anthropic se prepara para uma possível abertura de capital.
Continua após a publicidade

Com a entrada da Accenture, a companhia dá o primeiro passo concreto para transformar uma das principais ideias do plano de Amodei em uma estrutura operacional: permitir que uma organização externa tenha acesso direto à empresa para avaliar seus sistemas de segurança e identificar possíveis problemas antes que eles se agravem.

Rodrigo Mozelli
Rodrigo Mozelli

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.

Gostou? Compartilhe! Ajude mais pessoas a ficarem informadas.
Prefira o OD no Google
Ícone Whatsapp Ícone Whatsapp Ícone Instagram Ícone Facebook Ícone Linkedin Ícone Telegram Ícone Email