Siga o Olhar Digital no Google Discover
A OpenAI apresentou um novo e experimental Modelo de Linguagem Grande (LLM, na sigla em inglês) que promete mudar a forma como pesquisadores entendem o funcionamento interno dos modelos de linguagem.
Ofertas
Por: R$ 4,90
Por: R$ 89,10
Por: R$ 47,40
Diferente das versões avançadas usadas no mercado, este protótipo foi criado para ser mais transparente, permitindo que cientistas observem, com maior clareza, como decisões são formadas dentro da rede neural. A iniciativa busca enfrentar um dos maiores desafios da inteligência artificial (IA) atual: o fato de que os modelos funcionam como verdadeiras “caixas-pretas”.
Segundo a empresa, compreender melhor o raciocínio interno dessas redes é fundamental à medida que elas passam a ser integradas em áreas críticas. A falta de clareza sobre por que um modelo “alucina”, falha em tarefas simples ou toma decisões inesperadas dificulta a construção de sistemas realmente confiáveis.
Um LLM menor, mais lento, mas extremamente transparente
O modelo experimental é baseado em uma arquitetura chamada weight-sparse transformer (transformador com peso reduzido, em tradução livre), que o difere dos LLMs tradicionais.
Enquanto redes densas conectam cada neurônio a todos os neurônios das camadas adjacentes, essa nova abordagem limita o número de conexões — o que força o modelo a organizar conceitos de forma mais localizada e menos caótica.
Isso torna o sistema muito mais interpretável. Pesquisadores da OpenAI afirmam que é possível relacionar grupos de neurônios a funções específicas, algo extremamente difícil nos modelos atuais devido à superposição de conceitos, na qual um mesmo neurônio pode representar várias ideias ao mesmo tempo.
Especialistas externos, como Elisenda Grigsby, do Boston College, e Lee Sharkey, da Goodfire, consideraram o estudo promissor, segundo o MIT Technology Review. O modelo não compete com gigantes, como GPT-5, Gemini e Claude. Seu propósito é outro: abrir caminho para entender como esses sistemas complexos realmente operam.
Leia mais:
- Microsoft descobre falha em IA que pode expor temas de conversas criptografadas
- IA ainda não consegue explicar seu próprio funcionamento interno, diz pesquisa
- IA pode inserir falhas invisíveis em chips e o problema não tem conserto, diz estudo
Como o modelo ajuda a entender melhor o funcionamento da IA
A proposta se insere em uma área crescente de pesquisa chamada interpretabilidade mecanicista, que tenta mapear mecanismos internos que sustentam as capacidades dos LLMs. Entre os experimentos realizados, o novo modelo conseguiu executar tarefas simples, como completar corretamente um texto com aspas — e, pela primeira vez, os cientistas conseguiram acompanhar, passo a passo, a lógica usada pela rede.
Os pesquisadores identificaram até circuitos internos que reproduzem algoritmos semelhantes aos que um humano escreveria manualmente, mas totalmente aprendidos pela máquina.
A pesquisa destaca que:
- O modelo é muito mais lento do que LLMs comerciais;
- Seu desempenho se aproxima do antigo GPT-1;
- Seu objetivo é permitir observação profunda, não competir em capacidade;
- A técnica ainda não escala para modelos do nível de GPT-5.
Mesmo assim, a OpenAI acredita que a abordagem pode evoluir o suficiente para criar, no futuro, um modelo totalmente interpretável no nível do GPT-3 — algo que seria revolucionário para segurança, confiabilidade e controle da IA.
A empresa afirma que, se for possível analisar cada parte de um LLM avançado, será viável compreender, finalmente, porque esses modelos funcionam do jeito que funcionam — e, principalmente, como torná-los mais seguros para aplicações essenciais.
Tags: