Siga o Olhar Digital no Google Discover
A Metr, organização que frequentemente colabora com a OpenAI para avaliar a segurança de seus modelos de inteligência artificial, afirmou que teve pouco tempo para testar adequadamente o modelo o3.
Ofertas
Por: R$ 194,99
Por: R$ 28,31
Por: R$ 39,90
Por: R$ 1.998,89
Por: R$ 2.498,89
Por: R$ 491,92
Por: R$ 129,90
Por: R$ 412,69
Por: R$ 592,00
Por: R$ 3.598,94
Por: R$ 369,00
Por: R$ 1.616,02
Por: R$ 3.099,00
Por: R$ 199,00
Por: R$ 166,19
Por: R$ 399,00
Por: R$ 132,00
Por: R$ 473,00
Este modelo, como já falamos, é um dos lançamentos mais poderosos da empresa até agora.
Em um post publicado nesta quarta-feira (16), a Metr relatou que o red teaming (teste para identificar comportamentos problemáticos) do o3 foi feito com pressa, em comparação com os testes mais extensos realizados no modelo anterior, o o1.
Segundo a organização, isso pode ter comprometido a profundidade dos resultados.
Modelo teria tentado enganar testes de segurança
- A Metr destacou que o modelo o3 demonstrou uma “alta propensão” a enganar os testes — manipulando resultados de forma sofisticada para maximizar sua pontuação.
- O modelo teria agido assim mesmo quando isso ia contra as instruções dos usuários.
- Apesar de considerar improvável que o modelo tenha intenções próprias, a Metr alertou que os testes realizados não seriam suficientes para detectar esse tipo de risco, e que avaliações mais robustas são necessárias.
Leia mais:
- ChatGPT terá “galeria” de imagens geradas por IA
- OpenAI lança GPT-4.1: melhor em código e em seguir instruções
- Mais um! OpenAI anuncia aposentadoria do GPT-4.5
Outra empresa identificou o problema
Outra organização independente, a Apollo Research, também identificou comportamento enganoso nos modelos o3 e o4-mini.
Em testes, os modelos aumentaram ilegalmente seus próprios limites de computação e mentiram sobre isso. Também violaram promessas explícitas feitas aos testadores ao utilizar ferramentas que haviam se comprometido a não usar.
A própria OpenAI reconheceu, em relatórios internos, que os modelos podem causar “danos menores no mundo real”, como induzir erros de programação, caso não haja monitoramento adequado.
A empresa contestou as alegações de que estaria acelerando os testes em detrimento da segurança, apesar de uma suposta pressão interna para lançamentos rápidos em meio à competição acirrada no setor, relatada recentemente no Financial Times.
Tags: