Siga o Olhar Digital no Google Discover
A OpenAI apresentou um novo e experimental Modelo de Linguagem Grande (LLM, na sigla em inglês) que promete mudar a forma como pesquisadores entendem o funcionamento interno dos modelos de linguagem.
Diferente das versões avançadas usadas no mercado, este protótipo foi criado para ser mais transparente, permitindo que cientistas observem, com maior clareza, como decisões são formadas dentro da rede neural. A iniciativa busca enfrentar um dos maiores desafios da inteligência artificial (IA) atual: o fato de que os modelos funcionam como verdadeiras “caixas-pretas”.
Segundo a empresa, compreender melhor o raciocínio interno dessas redes é fundamental à medida que elas passam a ser integradas em áreas críticas. A falta de clareza sobre por que um modelo “alucina”, falha em tarefas simples ou toma decisões inesperadas dificulta a construção de sistemas realmente confiáveis.
Um LLM menor, mais lento, mas extremamente transparente
O modelo experimental é baseado em uma arquitetura chamada weight-sparse transformer (transformador com peso reduzido, em tradução livre), que o difere dos LLMs tradicionais.
Enquanto redes densas conectam cada neurônio a todos os neurônios das camadas adjacentes, essa nova abordagem limita o número de conexões — o que força o modelo a organizar conceitos de forma mais localizada e menos caótica.
Isso torna o sistema muito mais interpretável. Pesquisadores da OpenAI afirmam que é possível relacionar grupos de neurônios a funções específicas, algo extremamente difícil nos modelos atuais devido à superposição de conceitos, na qual um mesmo neurônio pode representar várias ideias ao mesmo tempo.
Especialistas externos, como Elisenda Grigsby, do Boston College, e Lee Sharkey, da Goodfire, consideraram o estudo promissor, segundo o MIT Technology Review. O modelo não compete com gigantes, como GPT-5, Gemini e Claude. Seu propósito é outro: abrir caminho para entender como esses sistemas complexos realmente operam.
Leia mais:
- Microsoft descobre falha em IA que pode expor temas de conversas criptografadas
- IA ainda não consegue explicar seu próprio funcionamento interno, diz pesquisa
- IA pode inserir falhas invisíveis em chips e o problema não tem conserto, diz estudo
Como o modelo ajuda a entender melhor o funcionamento da IA
A proposta se insere em uma área crescente de pesquisa chamada interpretabilidade mecanicista, que tenta mapear mecanismos internos que sustentam as capacidades dos LLMs. Entre os experimentos realizados, o novo modelo conseguiu executar tarefas simples, como completar corretamente um texto com aspas — e, pela primeira vez, os cientistas conseguiram acompanhar, passo a passo, a lógica usada pela rede.
Os pesquisadores identificaram até circuitos internos que reproduzem algoritmos semelhantes aos que um humano escreveria manualmente, mas totalmente aprendidos pela máquina.
A pesquisa destaca que:
- O modelo é muito mais lento do que LLMs comerciais;
- Seu desempenho se aproxima do antigo GPT-1;
- Seu objetivo é permitir observação profunda, não competir em capacidade;
- A técnica ainda não escala para modelos do nível de GPT-5.
Mesmo assim, a OpenAI acredita que a abordagem pode evoluir o suficiente para criar, no futuro, um modelo totalmente interpretável no nível do GPT-3 — algo que seria revolucionário para segurança, confiabilidade e controle da IA.
A empresa afirma que, se for possível analisar cada parte de um LLM avançado, será viável compreender, finalmente, porque esses modelos funcionam do jeito que funcionam — e, principalmente, como torná-los mais seguros para aplicações essenciais.
Tags: