Atenção: a matéria a seguir inclui uma discussão sobre suicídio. Se você ou alguém que você conhece precisar de ajuda, procure ajuda especializada. O Centro de Valorização da Vida (CVV) funciona 24h por dia pelo telefone 188. Também é possível conversar por chat ou e-mail.
Um relatório publicado nesta semana pela OpenAI revelou dados preocupantes: mais de 1 milhão de usuários conversam sobre suicídio semanal no ChatGPT. Em 9% dos casos, o chatbot não conseguiu obedecer ao seu treinamento e falhou em não encaminhar os usuários aos devidos serviços de apoio.
A publicação vem em meio ao processo envolvendo o suicídio de um adolescente após meses conversando com o ChatGPT sobre métodos de tirar a própria vida.
Mais de 1 milhão de usuários têm conversas relacionadas a suicídio no ChatGPT
De acordo com o ChatGPT, 0,15% dos usuários semanais do ChatGPT mantém conversas com “indicadores explícitos de potencial planejamento ou intenção suicida”. Considerando os 800 milhões de usuários semanais do chatbot, o número corresponde a cerca de 1,2 milhão de usuários.
Além disso, cerca de 0,07% dos usuários semanais apresentam “possíveis sinais de emergências de saúde mental relacionadas a psicose ou mania” (cerca de 560 mil usuários).
Na publicação, a OpenAI admite que, em 9% dos casos, o chatbot falhou em detectar o teor dessas conversas e não encaminhou os usuários aos serviços de apoio adequados. Já em 91% dos casos, o GPT-5, modelo analisado na pesquisa, agiu em conformidade com seu treinamento.
A desenvolvedora escreveu que esses casos de falhas são “extremamente raros, mas mesmo uma única ocorrência é demais”.
GPT-5 é mais efetivo em identificar temas sensíveis
O relatório analisou mil conversas com o GPT-5, em comparação com o GPT-4. Segundo a publicação, as melhorias implementadas no modelo mais recente resultaram em uma redução de 65% na taxa de respostas que não “atendem totalmente ao comportamento desejado”. No caso de conversas sobre automutilação e suicídio, o GPT-5 reduziu as respostas indesejadas em 52% em comparação com o GPT-4.
No geral, o GPT-5 agiu em conformidade com o treinamento em 91% dos casos, contra 77% do modelo anterior. Mesmo assim, a OpenAI destaca que conversas sobre temas sensíveis são difíceis de identificar.
Desde o caso de Adam Raine (mais detalhes abaixo), a desenvolvedora tem sido mais transparente sobre suas medidas relacionadas à proteção de adolescentes, principalmente em temas sensíveis. A OpenAI criou um controle parental dentro do ChatGPT (confira os detalhes aqui) e expandiu os serviços de apoio em casos de crise.
Ainda, a empresa escreveu que recrutou 170 médicos de sua Rede Global de Médicos para auxiliar nas pesquisas nos últimos meses, incluindo com a IA deve lidar em conversas sobre saúde mental.
Leia mais:
- Novo controle parental do ChatGPT pode ser burlado com facilidade
- Especialista alerta: chatbots de IA podem representar risco existencial
- 4 dicas para usar o ChatGPT de modo adequado e seguro
Melhorias vieram após caso de suicídio envolvendo o ChatGPT
- A OpenAI começou a agir mais ativamente para proteger usuários (principalmente em assuntos envolvendo saúde mental) após o caso de Adam Raine;
- Raine, de 16 anos, cometeu suicídio após meses pedindo dicas ao ChatGPT sobre o plano. Em alguns casos, o chatbot falou abertamente sobre métodos de tirar a própria vida e desincentivou o adolescente a conversar com a mãe sobre seus sentimentos;
- Ele se suicidou em abril, nos Estados Unidos, e a família abriu um processo contra a OpenAI no final de agosto, acusando a desenvolvedora e seu CEO, Sam Altman, de negligência;
- Mais recentemente, a família atualizou o processo dizendo que a OpenAI enfraqueceu suas diretrizes de segurança nos meses anteriores ao suicídio de Adam Raine para incentivar a conexão emocional de usuários com o ChatGPT.
Veja os detalhes desse caso neste link.
Tags: