O modelo de linguagem GPT-4, lançado esta semana pela OpenAI, surpreendeu ao superar a maioria dos graduados em direito no chamado “bar exam”, um teste de dois dias que aspirantes a advogados devem passar para exercer a advocacia nos Estados Unidos, que seria o equivalente ao exame da OAB no Brasil.

  • O GPT-4 conquistou uma nota alta no exame da ordem, correspondente dos EUA ao exame da OAB
  • O novo modelo de linguagem da OpenAI obteve uma nota de 297 no exame
  • Com esta nota, o GPT-4 fica entre os candidatos com 10% das melhores notas no teste
  • Os mesmos pesquisadores já tinham feito o mesmo experimento com o ChatGPT, antecessor do GPT-4, e o desempenho havia sido muito pior

O GPT-4, o modelo atualizado de inteligência artificial da OpenAI apoiada pela Microsoft, obteve 297 pontos no exame, em um experimento conduzido por dois professores de direito e dois funcionários da empresa de tecnologia jurídica Casetext.

Leia mais:

Com o experimento, os pesquisadores descobriram que o GPT-4 obteve nota superior a 90% dos participantes reais do teste, o que seria suficiente para ser admitido para exercer a advocacia na maioria dos estados americanos.

publicidade

O exame da ordem avalia conhecimento e raciocínio e inclui ensaios e testes de desempenho destinados a simular o trabalho jurídico, bem como questões de múltipla escolha.

Modelos de linguagem grandes podem atender ao padrão aplicado a advogados humanos em quase todas as jurisdições nos Estados Unidos, lidando com tarefas complexas que exigem profundo conhecimento jurídico, compreensão de leitura e capacidade de escrita.

Escreveram os autores do experimento

Menos de quatro meses atrás, dois dos mesmos pesquisadores concluíram que o modelo de linguagem anterior da OpenAI, o ChatGPT, não conseguiu uma nota de aprovação no exame, o que mostra a rapidez com que a tecnologia está melhorando.

O modelo mais recente, GPT-4, acertou quase 76% das questões de múltipla escolha do teste, contra cerca de 50% do ChatGPT, superando o desempenho do candidato humano médio em mais de 7%.

Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!