A OpenAI anunciou recentemente um novo modelo chamado CriticGPT baseado no GPT-4. Ao contrário de outros modelos da empresa, voltados para o consumidor, o CriticGPT foi projetado para “escrever críticas às respostas do ChatGPT para ajudar os humanos a detectar erros durante o aprendizado por reforço a partir do feedback humano (RLHF)”.
Segundo a OpenAI, o código revisado pelo CriticGPT pode superar o código não revisado em 60%. A empresa está atualmente integrando modelos semelhantes ao CriticGPT no pipeline de rotulagem RLHF para ajudar os treinadores de IA na avaliação dos resultados de sistemas avançados de IA.
A OpenAI afirma que modelos como o CriticGPT podem ajudar a tornar o ChatGPT mais preciso com erros sutis e também detectar erros que os humanos podem não perceber, à medida que os modelos se tornam mais bem informados.
O processo de treinamento do CriticGPT incluiu a edição manual do código gerado pelo ChatGPT e a introdução de novos erros no código, juntamente com feedback de amostra para treinar o modelo que poderá identificar facilmente erros comuns incomuns.
Leia mais:
- ChatGPT vs. Gemini: qual assinatura de IA vale mais a pena?
- OpenAI: Sam Altman cultiva “cultura tóxica de mentiras”, afirmam ex-executivos
- 5 dicas para usar o ChatGPT de maneira mais eficiente
CriticGPT não é à prova de erros
- Assim como nas sugestões humanas, as sugestões do CriticGPT nem sempre são corretas.
- No entanto, a combinação da equipe humana com o CriticGPT supera os treinadores humanos não assistidos e também ajuda os treinadores a escrever “críticas abrangentes” enquanto produzem menos alucinações.
- A OpenAI também afirma que o CriticGPT pode espalhar erros do mundo real em muitas partes da resposta e não pode avaliar uma tarefa ou resposta extremamente complexa.
Este novo modelo de IA, conforme a empresa, ajudará os treinadores humanos a “produzir melhores dados RLHF para GPT-4”, e a OpenAI já revela estar planejando ampliar ainda mais esse trabalho.
Tags: