Quais IAs são mais transparentes? Estudo traz o ranking

Uma pesquisa da Universidade de Stanford revelou que as empresas responsáveis pelos principais modelos de IA são pouco transparentes
Por William Schendes, editado por Bruno Capozzi 19/10/2023 03h40
IA Google Meta OpenAI
(Imagem: Tada Images / Shutterstock)
Compartilhe esta matéria
Ícone Whatsapp Ícone Whatsapp Ícone X (Tweeter) Ícone Facebook Ícone Linkedin Ícone Telegram Ícone Email

Pesquisadores de Stanford divulgaram um relatório nessa semana que mede a transparência dos principais modelos de inteligência artificial (IA). O estudo pediu que empresas como Google e OpenAI fornecessem mais informações sobre como suas tecnologias são feitas, hardware utilizado, dados de treinamento e mais.

Como observa o relatório do Institute for Human Centered AI de Stanford (HAI), grupo de pesquisa e desenvolvimento de tecnologias de IA, os sistemas com menos transparência apresentam uma série de dificuldades para investigações acadêmicas, elaboração de políticas e compreensão dos consumidores sobre os produtos.

Leia mais:

Pesquisadores esperam que as empresas forneçam mais informações sobre suas IAs

A avaliação de transparência foi liderada pelos pesquisadores Rishi Bommasani e Percy Liang e reuniu uma equipe de estudantes das universidades de Stanford, MIT e Princeton. O objetivo consistiu em elaborar o sistema de pontuação nomeado de Foundation Model Transparency Index, que analisa 100 aspectos de transparência dos modelos de IA.

As pontuações mais altas variaram de 47 a 54, o que, segundo o relatório “não é para se gabar”. Já a medição mais baixa ficou em 12%.

  • O sistema de avaliação avaliou 10 grandes modelos de linguagem de IA;
  • O mais transparente foi o LLaMA 2, da Meta, que alcançou uma pontuação de 54%, seguido pelo BLOOMBZ, da BigScience (53%), e GPT-4, da OpenAI (47%);
  • O sistema com a menor pontuação foi o Titan Text da Amazon (12%);
  • Com os resultados, os pesquisadores esperam que as empresas que fornecem modelos de IA comerciais sejam mais transparentes sobre suas tecnologias.

Esta é uma indicação bastante clara de como estas empresas se comparam aos seus concorrentes, e esperamos que as motive a melhorar a sua transparência.

Rishi Bommasani, líder do Center for Research on Foundation Models (CRFM).

Confira o ranking completo:

Transparency model image 1_0
(Imagem: Institute for Human Centered AI de Stanford, HAI )

Por que a transparência é algo importante para a IA?

Bommasani avalia que a transparência é um indicativo importante para enfrentar ameças ao consumidor, como anúncios enganosos e desinformação.

A transparência dos modelos também garante que os reguladores tenham as informações essenciais para formular políticas de IA.

Se não houver transparência, os reguladores não conseguirão sequer colocar as questões certas, muito menos tomar medidas nestas áreas.

Rishi Bommasani, líder do Center for Research on Foundation Models (CRFM).

Jornalista em formação pela Universidade Metodista de São Paulo (UMESP). Mesmo com alguns assuntos negativos, gosta ficar atualizado e noticiar sobre diferentes temas da tecnologia.

Bruno Capozzi é jornalista formado pela Faculdade Cásper Líbero e mestre em Ciências Sociais pela PUC-SP, tendo como foco a pesquisa de redes sociais e tecnologia.