Olhar Digital > Inteligência Artificial > Existe algo muito simples em que os chatbots são muito ruins, segundo estudo

Existe algo muito simples em que os chatbots são muito ruins, segundo estudo

Chatbots como ChatGPT e Gemini falham frequentemente em fornecer dados corretos e confiáveis, como aponta uma nova pesquisa
Por Leandro Costa Criscuolo, editado por Bruno Capozzi 12/03/2025 17h00
chatbot
Imagem: SomYuZu/Shutterstock
Compartilhe esta matéria
Ícone Whatsapp Ícone Whatsapp Ícone X (Tweeter) Ícone Facebook Ícone Linkedin Ícone Telegram Ícone Email

Siga o Olhar Digital no Google Discover

Inteligência artificial
Tudo sobre Inteligência Artificial
ver mais

Um estudo recente destacou as limitações de chatbots de IA, como ChatGPT, Gemini e Grok, quando usados para busca de informações factuais. A pesquisa revelou que esses sistemas falham frequentemente em fornecer respostas precisas, errando em mais de 60% das vezes.

Ofertas
Jogos 3D de trator agrícola dos EUA | Jogos agrícolas
Vendido por Amazon
Jogos 3D de trator agrícola dos EUA | Jogos agrícolas
Por R$ 66,97
32 in1 Case Estojo Para Nintendo Switch 2 Acessórios Capa Protetora Para Com Compartimentos Bolsa Perfeita Para Viagens Estojo Bag de Proteção e Acessórios Para
Vendido por Amazon
32 in1 Case Estojo Para Nintendo Switch 2 Acessórios Capa Protetora Para Com Compartimentos Bolsa Perfeita Para Viagens Estojo Bag de Proteção e Acessórios Para
De: R$ 119,99
Por: R$ 94,99
Baseus: 2 Cabos USB-C/USB-C, 100W, Carregamento Rápido, Transferência de Dados Super Rápida, Compatível com iPhone 15 (2, centímetros)
Vendido por Amazon
Baseus: 2 Cabos USB-C/USB-C, 100W, Carregamento Rápido, Transferência de Dados Super Rápida, Compatível com iPhone 15 (2, centímetros)
De: R$ 49,99
Por: R$ 39,99
Brother HL-L1232W Impressora Laser Monocromática, Wi-Fi, USB 2.0, 220V, Preta
Vendido por Amazon
Brother HL-L1232W Impressora Laser Monocromática, Wi-Fi, USB 2.0, 220V, Preta
De: R$ 1.299,00
Por: R$ 1.109,00
Superhero Rider – Mega Ramp Bike Adventure
Vendido por Amazon
Superhero Rider – Mega Ramp Bike Adventure
Por R$ 69,99
Carregador USB-C Turbo para iPhone 15, 15 pro, 15 Pro Max, iPhone 16, 16 pro, 16 pro Max, Compativel c/Samsung Galaxy, IOS/Android, Super Rapido, Fonte Entrada Tipo-C + Cabo USB-C, Branco Homologado
Vendido por Amazon
Carregador USB-C Turbo para iPhone 15, 15 pro, 15 Pro Max, iPhone 16, 16 pro, 16 pro Max, Compativel c/Samsung Galaxy, IOS/Android, Super Rapido, Fonte Entrada Tipo-C + Cabo USB-C, Branco Homologado
De: R$ 49,90
Por: R$ 39,90
TCL Projetor A1 GTV, licenciado oficialmente pela Netflix, projetor externo portátil com Wi-Fi e Bluetooth, suporte nativo 1080p e 4K, foco automático, áudio de 16 W e Dolby Digital, tela de 120
Vendido por Amazon
TCL Projetor A1 GTV, licenciado oficialmente pela Netflix, projetor externo portátil com Wi-Fi e Bluetooth, suporte nativo 1080p e 4K, foco automático, áudio de 16 W e Dolby Digital, tela de 120
Por R$ 962,94
NTK - Mochila Edge Executiva Grande Expansível Impermeável para Escritório e Viagem - Reforço e Compartimento para Notebook até 16 Polegadas, Ideal para Trabalho e Estudo, Cinza
Vendido por Amazon
NTK - Mochila Edge Executiva Grande Expansível Impermeável para Escritório e Viagem - Reforço e Compartimento para Notebook até 16 Polegadas, Ideal para Trabalho e Estudo, Cinza
De: R$ 219,00
Por: R$ 204,10
Estojo Escolar Organizador Box Grande Para Lapis Feminino Masculino Material Escolar
Vendido por Amazon
Estojo Escolar Organizador Box Grande Para Lapis Feminino Masculino Material Escolar
De: R$ 40,90
Por: R$ 33,90
JBL, Fone de Ouvido Bluetooth, Tune Buds 2, Intra Auricular, Sem Fio, Com Cancelamento de Ruído, Bateria de até 48h, Som JBL Pure Bass - Branco
Vendido por Amazon
JBL, Fone de Ouvido Bluetooth, Tune Buds 2, Intra Auricular, Sem Fio, Com Cancelamento de Ruído, Bateria de até 48h, Som JBL Pure Bass - Branco
De: R$ 599,00
Por: R$ 489,00
Anker 332 Hub USB-C [5 em 1, HDMI 4K, 2 Portas USB-A 5 Gbps], Compatível com MacBook Pro, MacBook Air, Dell XPS, Lenovo ThinkPad, HP e Mais
Vendido por Amazon
Anker 332 Hub USB-C [5 em 1, HDMI 4K, 2 Portas USB-A 5 Gbps], Compatível com MacBook Pro, MacBook Air, Dell XPS, Lenovo ThinkPad, HP e Mais
De: R$ 229,00
Por: R$ 169,00
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
Vendido por Amazon
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
De: R$ 78,00
Por: R$ 74,10
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
Vendido por Amazon
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
De: R$ 78,00
Por: R$ 74,10
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
Vendido por Amazon
Caixa de Som Bluetooth, INAVA, Caixa de Som Portatil Com Graves Aprimorados e Som Surround 360°.
Por R$ 78,00
Wacom One Display Interativo 13 Polegadas Touch, Tela IPS Full HD, DTH134, Preto, para Educação, Escritório e Criação
Vendido por Amazon
Wacom One Display Interativo 13 Polegadas Touch, Tela IPS Full HD, DTH134, Preto, para Educação, Escritório e Criação
De: R$ 3.559,90
Por: R$ 1.435,96
KOSPET Tank T3 Ultra Smartwatch, 50M à prova de água, GPS, bússola, pressão do ar, altitude, aço inoxidável completo, chamada Bluetooth, ecrã AMOLED sempre activo de 1,43'', voz AI Banda de Metal
Vendido por Amazon
KOSPET Tank T3 Ultra Smartwatch, 50M à prova de água, GPS, bússola, pressão do ar, altitude, aço inoxidável completo, chamada Bluetooth, ecrã AMOLED sempre activo de 1,43'', voz AI Banda de Metal
De: R$ 899,99
Por: R$ 764,99
WAAW by ALOK Caixa de Som INFINITE 700 Bluetooth, Tipo Torre, Até 20h de Autonomia, 3 Alto-Falantes, TWS, 700W RMS
Vendido por Amazon
WAAW by ALOK Caixa de Som INFINITE 700 Bluetooth, Tipo Torre, Até 20h de Autonomia, 3 Alto-Falantes, TWS, 700W RMS
De: R$ 3.799,90
Por: R$ 3.369,83
Apple Watch SE 3 GPS, Caixa em alumínio luz das estrelas de 44 mm com Bracelete desportiva luz das estrelas - M/G
Vendido por Amazon
Apple Watch SE 3 GPS, Caixa em alumínio luz das estrelas de 44 mm com Bracelete desportiva luz das estrelas - M/G
De: R$ 3.699,00
Por: R$ 2.998,99
Apple Watch Series 11 GPS, Caixa em alumínio rosa‑dourado de 42 mm com Bracelete desportiva rosa leve - M/G
Vendido por Amazon
Apple Watch Series 11 GPS, Caixa em alumínio rosa‑dourado de 42 mm com Bracelete desportiva rosa leve - M/G
De: R$ 5.499,00
Por: R$ 4.599,00
eufy SoloCam S220 por anker, Câmera De Segurança Wi-Fi Externa, Solar Sem Fio Externa, 2K, Energia Contínua, Monitoramento inteligente de IA, Trabalha Com Alexa/HomeBase 3, Sem Taxa Mensal
Vendido por Amazon
eufy SoloCam S220 por anker, Câmera De Segurança Wi-Fi Externa, Solar Sem Fio Externa, 2K, Energia Contínua, Monitoramento inteligente de IA, Trabalha Com Alexa/HomeBase 3, Sem Taxa Mensal
De: R$ 549,00
Por: R$ 521,00
Anker Laptop Power Bank, 25.000mAh Carregador Portátil para Notebook, 3-Portas 100W USB-C, Cabos Retráteis Integrados, Aprovado para Viagens Aéreas, Compatível com iPhone 17, Samsung e Mais
Vendido por Amazon
Anker Laptop Power Bank, 25.000mAh Carregador Portátil para Notebook, 3-Portas 100W USB-C, Cabos Retráteis Integrados, Aprovado para Viagens Aéreas, Compatível com iPhone 17, Samsung e Mais
De: R$ 1.199,00
Por: R$ 899,00
Anker Laptop Power Bank, 25.000mAh Carregador Portátil para Notebook, 3-Portas 100W USB-C, Cabos Retráteis Integrados, Aprovado para Viagens Aéreas, Compatível com iPhone 17, Samsung e Mais
Vendido por Amazon
Anker Laptop Power Bank, 25.000mAh Carregador Portátil para Notebook, 3-Portas 100W USB-C, Cabos Retráteis Integrados, Aprovado para Viagens Aéreas, Compatível com iPhone 17, Samsung e Mais
De: R$ 1.199,00
Por: R$ 899,00
Mouse sem fio Logitech Pebble 2 M350s com Clique Silencioso, Design Slim Ambidestro, Conexão Bluetooth e Pilha Inclusa - Rosa
Vendido por Amazon
Mouse sem fio Logitech Pebble 2 M350s com Clique Silencioso, Design Slim Ambidestro, Conexão Bluetooth e Pilha Inclusa - Rosa
De: R$ 123,90
Por: R$ 79,90
soundcore Select 4 Go da Anker, Alto-Falante Bluetooth Portátil, 20H de Bateria, IP67 à Prova d'Água e Poeira, Flutuante, Som Potente, Ideal para Ambientes Internos, Externos e Passeios
Vendido por Amazon
soundcore Select 4 Go da Anker, Alto-Falante Bluetooth Portátil, 20H de Bateria, IP67 à Prova d'Água e Poeira, Flutuante, Som Potente, Ideal para Ambientes Internos, Externos e Passeios
De: R$ 339,00
Por: R$ 199,00
Anker MagGo Power Bank, Bateria Magnética Ultra Fina de 10.000mAh, Certificação Qi2, Portátil, Carregador MagSafe Compatível de 15W Ultra Rápido, Compatível com iPhone 17/16/15, Samsung,Xiaomi e Mais
Vendido por Amazon
Anker MagGo Power Bank, Bateria Magnética Ultra Fina de 10.000mAh, Certificação Qi2, Portátil, Carregador MagSafe Compatível de 15W Ultra Rápido, Compatível com iPhone 17/16/15, Samsung,Xiaomi e Mais
De: R$ 499,00
Por: R$ 469,00
Apple 2025 iPad (Wi-Fi + Cellular, 128 GB) - Azul (A16)
Vendido por Amazon
Apple 2025 iPad (Wi-Fi + Cellular, 128 GB) - Azul (A16)
De: R$ 6.499,00
Por: R$ 5.799,00

Mesmo quando conseguem uma resposta, muitas vezes estão excessivamente confiantes nas informações incorretas.

O estudo, conduzido pelo Tow Center for Digital Journalism, e publicado na Columbia Journalism Review, testou oito chatbots em tarefas simples, como encontrar e fornecer um link para um artigo específico.

Os chatbots testados foram o ChatGPT, Perplexity, Perplexity Pro, DeepSeek, Copilot, Grok-2, Grok-3
e Gemini.

Leia mais:

Chatbot
Chatbots falharam em mais das metade das vezes em fornecer respostas precisas – Imagem: TippaPatt – Shutterstock

Embora a tarefa fosse realizável no Google, os chatbots cometeram erros significativos. O Perplexity teve o melhor desempenho, acertando 63% das vezes, enquanto o Grok-3 obteve apenas 6% de acerto.

Os principais problemas observados incluem: os chatbots fornecendo respostas erradas com confiança, ignorando protocolos de exclusão de robôs, fabricando links e citando versões erradas de artigos. Além disso, os chatbots premium (como o Copilot, da Microsoft) eram mais confiantes, mas igualmente imprecisos.

Apple acertou em parceria com o ChatGPT

  • Apesar disso, a parceria da Apple com o ChatGPT para consultas não respondidas pela Siri é vista como algo positivo.
  • Embora o desempenho do ChatGPT não tenha sido perfeito na atividade, foi relativamente bem entre os testados.
  • O estudo confirma que chatbots podem ser úteis para gerar ideias, mas não devem ser confiáveis para respostas factuais.
Foto estilo POV de pessoa segurando lupa sobre tela de notebook com ChatGPT aberto
Parceria da Apple com o ChatGPT é vista como uma escolha inteligente (Imagem: Rokas Tenys/Shutterstock)
Leandro Costa Criscuolo
Colaboração para o Olhar Digital

Leandro Criscuolo é jornalista formado pela Faculdade Cásper Líbero. Já atuou como copywriter, analista de marketing digital e gestor de redes sociais. Atualmente, escreve para o Olhar Digital.

Bruno Capozzi
Editor(a)
Bruno Capozzi no Instagram Bruno Capozzi no Twitter Bruno Capozzi no LinkedIn

Bruno Capozzi é jornalista formado pela Faculdade Cásper Líbero e mestre em Ciências Sociais pela PUC-SP, tendo como foco a pesquisa de redes sociais e tecnologia.

Ícone tagsTags: