O ChatGPT realizou o Exame de Licenciamento Médico dos Estados Unidos (USMLE, na sigla em inglês) e teve o resultado de aprovado ou quase aprovado. O teste com o chatbot da OpenAI foi feito num estudo da revista PLOS Digital Health.

Resumo da história

  • O ChatGPT foi usado no teste obrigatório para atuação de médicos nos EUA.
  • Sua pontuação foi superior a um modelo de linguagem generativa dedicada a textos médicos.
  • Os pesquisadores ressaltam que o conhecimento não pode ser comparado ao de estudantes.

De acordo com os autores da pesquisa, a ferramenta da OpenAI respondeu cerca de 350 das 376 questões. A pontuação ficou entre 52,4% e 75% nas três partes do exame. A nota de aprovação é de 60%.

Leia mais:

Esses resultados sugerem que grandes modelos de linguagem podem ter o potencial de auxiliar na educação médica e, potencialmente, na tomada de decisões clínicas

Trecho da nota dos responsáveis pelo estudo
ChatGPT é aprovado em exame nacional de medicina dos EUA
(Imagem: Gorodenkoff/ Shutterstock)

A pesquisa também mostra que o ChatGPT conseguiu superar resultados do PubMedGPT, um modelo de linguagem generativa treinada especialmente para textos médicos, que teve uma pontuação de 50,8% no USML.

publicidade

Especulamos que o treinamento específico de domínio pode ter criado maior ambivalência no modelo PubMedGPT, pois essa ferramenta absorve o texto do mundo real do discurso acadêmico em andamento que tende a ser inconclusivo, contraditório ou altamente conservador ou evasivo em sua linguagem.

De acordo com o site do USML, o exame avalia a capacidade de um médico de aplicar conhecimentos, conceitos e princípios. A prova conta com diferentes disciplinas médicas, bioquímicas e bioéticas.

Apesar de o chatbot ter sido aprovado no exame, os pesquisadores ressaltam que ele não pode ser comparado com o conhecimento humano.

Isso não sugere remotamente que o ChatGPT tenha conhecimento comparável ao de um humano, já que o teste pode ser um bom preditor de desempenho apenas para quem já tem um MD [graduação de doutor em medicina] e fez residência, ou seja, para uma população muito pré-selecionada. GPT não faria parte disso

Nello Cristianini, professor de Inteligência Artificial da Universidade de Bath.

Com informações de PLOS Digital Health e IFL Science.

Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!