Chatbot de NY aconselhou estabelecimentos a quebrar a lei; entenda

Chatbot criado para auxiliar donos de comércio em Nova York com informações importantes estaria fornecendo conteúdos equivocados
Por Leandro Costa Criscuolo, editado por Bruno Capozzi 05/04/2024 00h05, atualizada em 03/05/2024 18h36
chatbot
Imagem: Tero Vesalainen/Shuttterstock
Compartilhe esta matéria
Ícone Whatsapp Ícone Whatsapp Ícone X (Tweeter) Ícone Facebook Ícone Linkedin Ícone Telegram Ícone Email

Em um episódio bastante controverso envolvendo inteligência artificial: um chatbot criado pela cidade de Nova York para ajudar proprietários de pequenas empresas está sob críticas por fornecer conselhos ruins, que distorcem as políticas locais e aconselham as empresas a violar a lei. As informações são do TechXplore.

Leia mais:

Após as primeiras denúncias do caso terem aparecido, a cidade optou por deixar a ferramenta em seu site oficial do governo. O prefeito Eric Adams defendeu a decisão esta semana, embora reconhecesse que as respostas do chatbot vinham sendo “erradas em algumas áreas”.

Créditos: IM_photo – Shutterstock

Lançado em outubro como um “balcão único” para proprietários de empresas, o chatbot da cidade nova-iorquina oferece aos usuários respostas de texto geradas por algoritmos a perguntas para lidar com burocracias e questões pertinentes da cidade.

Há um comunicado na ferramenta, clamando isenção de responsabilidade, de que a IA pode “ocasionalmente produzir informações incorretas, prejudiciais ou tendenciosas” e um alerta, que vem sendo reforçado, de que suas respostas não constituem aconselhamento jurídico.

Porém, seguem surgindo relatos de que o chatbot forneceu orientações falsas. Especialistas veem nesse caso um exemplo claro dos perigos de governos adotarem sistemas alimentados por IA sem proteções suficientes.

“Eles estão lançando software que não foi comprovado e sem supervisão. Está claro que eles não têm intenção de fazer o que é responsável”, disse Julia Stoyanovich, professora de ciência da computação e diretora do Centro de IA Responsável da Universidade de Nova York.

meta chatbots
Imagem: VectorMine/Shutterstock

Algumas das respostas absurdas que o chatbot forneceu

  • O chatbot sugeriu para um empregador que ele poderia despedir um trabalhador que se queixa de assédio sexual, não revela uma gravidez ou se recusa a cortar os seus dreadlocks
  • Em outro caso, alegou que as empresas podem colocar o seu lixo em sacos de lixo pretos e não são obrigadas a fazer compostagem, duas ações que vão contra as iniciativas de higiene pública da cidade.
  • Questionado se um restaurante poderia servir queijo mordido por um roedor, ele respondeu: “Sim, você ainda pode servir o queijo aos clientes se ele tiver mordidas de rato”.

Um porta-voz da Microsoft, que alimenta o bot por meio de seus serviços de IA da Azure, disse que a empresa está trabalhando com funcionários para melhorar o serviço e garantir que os resultados sejam precisos e baseados na documentação oficial da cidade.

Especialistas dizem que outras cidades que usam chatbots normalmente os confinaram a um conjunto mais limitado de informações, reduzindo a chance da tecnologia fornecer desinformação.

Leandro Costa Criscuolo
Colaboração para o Olhar Digital

Leandro Criscuolo é jornalista formado pela Faculdade Cásper Líbero. Já atuou como copywriter, analista de marketing digital e gestor de redes sociais. Atualmente, escreve para o Olhar Digital.

Bruno Capozzi é jornalista formado pela Faculdade Cásper Líbero e mestre em Ciências Sociais pela PUC-SP, tendo como foco a pesquisa de redes sociais e tecnologia.