Quais IAs são mais transparentes? Estudo traz o ranking

Pesquisadores de Stanford divulgaram um relatório nessa semana que mede a transparência dos principais modelos de inteligência artificial (IA). O estudo pediu que empresas como Google e OpenAI fornecessem mais informações sobre como suas tecnologias são feitas, hardware utilizado, dados de treinamento e mais.

Como observa o relatório do Institute for Human Centered AI de Stanford (HAI), grupo de pesquisa e desenvolvimento de tecnologias de IA, os sistemas com menos transparência apresentam uma série de dificuldades para investigações acadêmicas, elaboração de políticas e compreensão dos consumidores sobre os produtos.

Leia mais:

• IA generativa impulsiona surgimento de startups bilionárias
• Como a inteligência artificial pode ajudar no diagnóstico do câncer de mama?
• Baidu lança nova versão de IA semelhante ao GPT-4

Pesquisadores esperam que as empresas forneçam mais informações sobre suas IAs

A avaliação de transparência foi liderada pelos pesquisadores Rishi Bommasani e Percy Liang e reuniu uma equipe de estudantes das universidades de Stanford, MIT e Princeton. O objetivo consistiu em elaborar o sistema de pontuação nomeado de Foundation Model Transparency Index, que analisa 100 aspectos de transparência dos modelos de IA.

As pontuações mais altas variaram de 47 a 54, o que, segundo o relatório “não é para se gabar”. Já a medição mais baixa ficou em 12%.

• O sistema de avaliação avaliou 10 grandes modelos de linguagem de IA;
• O mais transparente foi o LLaMA 2, da Meta, que alcançou uma pontuação de 54%, seguido pelo BLOOMBZ, da BigScience (53%), e GPT-4, da OpenAI (47%);
• O sistema com a menor pontuação foi o Titan Text da Amazon (12%);
• Com os resultados, os pesquisadores esperam que as empresas que fornecem modelos de IA comerciais sejam mais transparentes sobre suas tecnologias.

Esta é uma indicação bastante clara de como estas empresas se comparam aos seus concorrentes, e esperamos que as motive a melhorar a sua transparência.

Rishi Bommasani, líder do Center for Research on Foundation Models (CRFM).

Confira o ranking completo:

Por que a transparência é algo importante para a IA?

Bommasani avalia que a transparência é um indicativo importante para enfrentar ameças ao consumidor, como anúncios enganosos e desinformação.

A transparência dos modelos também garante que os reguladores tenham as informações essenciais para formular políticas de IA.

Se não houver transparência, os reguladores não conseguirão sequer colocar as questões certas, muito menos tomar medidas nestas áreas.

Rishi Bommasani, líder do Center for Research on Foundation Models (CRFM).