Uma equipe de engenheiros da Gramener, empresa de engenharia e análise de dados, realizou um experimento com alguns grandes modelos de linguagem (LLMs) para descobrir se, como os humanos, a IA também possui números favoritos. O teste envolveu pedir aos chatbots para que escolhessem um número aleatório de 0 a 100.
Entenda:
- Um experimento realizado pela Gramener descobriu que alguns modelos de IA também possuem números favoritos;
- A empresa pediu que o GPT-3.5 Turbo da OpenAI, o Claude 3 Haiku da Anthropic e o Gemini 1.0 Pro do Google escolhessem um número aleatório de 0 a 100;
- Os três modelos indicaram números específicos que sempre se repetiam no modelo mais determinístico;
- Os números também apareceram com mais frequência em configurações de “temperaturas” mais altas – que aumentam a variabilidade dos resultados;
- O número mais indicado pelo GPT-3.5 Turbo foi 47, o Claude 3 Haiku escolheu o número 42 e o Gemini, 72;
- Os resultados foram baseados em dados de treinamento e respostas frequentes dadas anteriormente pelos modelos a perguntas parecidas.
A experiência envolveu o GPT-3.5 Turbo da OpenAI, o Claude 3 Haiku da Anthropic e o Gemini 1.0 Pro do Google. Os três modelos indicaram números específicos que sempre se repetiam no modelo mais determinístico e apareciam com mais frequência em configurações de “temperaturas” mais altas – que aumentam a variabilidade dos resultados.
Leia mais:
- IA recebe treinamento em pesquisa e fica mais parecida com nosso cérebro
- Novo modelo de IA promete deixar robôs mais inteligentes
- IA “pensa” em inglês, mesmo se estiver falando em outra língua
Quais são os números favoritos dos modelos de IA?
Conforme reportado pela empresa, o número mais indicado pelo GPT-3.5 Turbo foi 47 – antigamente, era 42. O Claude 3 Haiku escolheu o número 42 e o Gemini, 72. Os três modelos tendem a evitar números extremamente altos ou baixos, dígitos repetidos – nenhum deles nunca escolheu 33, 55 ou 66 -, e números arredondados.
Mas a verdade é que, como explicaram os pesquisadores, a escolha dos LLMs não é verdadeiramente aleatória. A pergunta sobre o número aleatório é respondida, como todas as outras, com base em dados de treinamento e respostas frequentes após perguntas parecidas. Ou seja, quanto mais um determinado número aparece, mais frequentemente é repetido pelo modelo.
O experimento ainda apontou que o Gemini é o modelo cujas escolhas menos se parecem com as dos seres humanos, destacando que “números abaixo de 10 são raros, mas existem alguns” e “números que terminam em sete são populares”, já que os seres humanos sentem que eles são mais aleatórios.
Tags: