Caso você, ao ficar doente, tenha o hábito de descrever ao ChatGPT seus sintomas e pedir um diagnóstico ao chatbot, é bom ter cautela e não acreditar sempre nas respostas fornecidas. Um estudo descobriu que, apesar de ter sido treinado em terabytes de dados, o ChatGPT ainda não é bom no diagnóstico de doenças humanas.
Uma equipe de pesquisadores médicos da Escola Schulich de Medicina e Odontologia da Western University treinou o chatbot em 150 estudos de caso e o incentivou a fornecer um diagnóstico.
Pesquisas anteriores e evidências pela internet já mostraram que LLMs como o ChatGPT podem fornecer resultados impressionantes em algumas solicitações, mas também estão sujeitos a fornecer respostas incorretas.
Como resultado, especialistas da área de saúde costumam sugerir cautela ao usar os resultados produzidos por um assistente de IA para se informar sobre doenças.
Como o estudo foi conduzido
- Para este novo estudo, a equipe avaliou quão bem o ChatGPT diagnosticaria doenças humanas se apresentasse sintomas de pacientes reais, conforme descrito em estudos de casos reais.
- Eles escolheram 150 estudos de caso do Medscape, um site online criado e usado por profissionais médicos a título informativo e educacional, que foram acompanhados por um diagnóstico preciso e conhecido.
- Eles treinaram o ChatGPT 3.5 com dados pertinentes, como histórico do paciente, resultados laboratoriais e resultados de exames de consultório, e então solicitaram um diagnóstico e/ou um plano de tratamento.
Leia mais:
- ChatGPT: como alterar voz do assistente virtual
- ChatGPT faz lista dos 10 melhores filmes da história; confira
- ChatGPT está mudando a definição de plágio em universidades; entenda
Depois que o chatbot forneceu as respostas, a equipe de pesquisa classificou seus resultados com base no quão próximo a IA chegou do diagnóstico correto.
Eles também avaliaram o quão bem ele relatou sua justificativa para chegar ao diagnóstico, incluindo a citações de pesquisas confiáveis – uma parte importante do diagnóstico médico.
Eles então calcularam a média das pontuações recebidas para todos os estudos de caso e descobriram que o ChatGPT deu um diagnóstico correto apenas 49% das vezes.
Os pesquisadores concluíram que, embora o modelo de linguagem tenha obtido uma pontuação fraca, fez um bom trabalho ao descrever como chegou ao diagnóstico – uma característica, sugere a equipe, que pode ser útil para estudantes de medicina.
Também foi observado que o chatbot era razoavelmente bom em descartar possíveis doenças, mas concluem sugerindo que os assistentes de IA ainda não estão prontos para uso em ambientes de diagnóstico.
Tags: