A Meta anunciou, nesta quinta-feira (24), uma nova ferramenta com inteligência artificial (IA) para programação: o Code Llama, desenvolvido sobre seu grande modelo de linguagem (LLM) Llama 2. O recurso consegue tanto escrever códigos de programação quanto depurar trabalhos escritos por humanos, conforme divulgado na página Meta AI.

Para quem tem pressa:

  • A Meta anunciou uma nova ferramenta com inteligência artificial (IA) para programação: o Code Llama;
  • A ferramenta é um grande modelo de linguagem (LLM) capaz de gerar código e linguagem natural sobre código, a partir de prompts de código e de linguagem natural;
  • O Code Llama é gratuito para pesquisa e uso comercial;
  • O LLM é construído sobre o Llama 2 e está disponível em três modelos: Code Llama, Python e Instruct.

Ainda de acordo com a empresa, o Code Llama tem potencial para agilizar fluxos de trabalho, bem como torná-los mais eficientes. O Code Llama usará a mesma licença comunitária do Llama 2. Isso significa que é um recurso de graça tanto para pesquisa quanto para uso comercial.

Leia mais:

Code Llama tem potencial para ser usado como uma ferramenta educacional e de produtividade para ajudar os programadores a escreverem softwares mais robustos e bem documentados.

Meta

O Code Llama

Captura de tela do Code Llama, inteligência artificial da Meta para programadores
(Imagem: Divulgação/Meta)

O novo grande modelo de linguagem da Meta é uma versão especializada em código do Llama 2, criado por meio do treinamento adicional deste em seus conjuntos de dados específicos de código.

publicidade

Essencialmente, o Code Llama apresenta recursos de codificação aprimorados, construídos sobre o Llama 2, segundo a Meta.

A empresa afirmou que ele pode gerar código e linguagem natural sobre o código, a partir de prompts de código e de linguagem natural (por exemplo, “Escreva uma função que produza a sequência de Fibonacci”).

Ainda de acordo com a Meta, o Code Llama também pode ser usado para conclusão e depuração de código. Ele suporta muitas das linguagens mais populares usadas atualmente, incluindo Python, C++, Java, PHP, Typescript (Javascript), C# e Bash, segundo a empresa.

A Meta lançou o Code Llama em três tamanhos, com parâmetros 7B, 13B e 34B respectivamente. Cada um desses modelos é treinado com 500 bilhões de tokens de código e dados relacionados ao código.

Os modelos base e instrutivo 7B e 13B também foram treinados com capacidade de preencher o meio (FIM, na sigla em inglês) – ou seja, conseguem inserir código no código existente, o que significa que podem suportar tarefas como conclusão de código.

Os três modelos atendem a diferentes requisitos de serviço e latência. O modelo 7B, por exemplo, pode ser servido em uma única GPU. O modelo 34B retorna os melhores resultados e permite melhor assistência de codificação, mas os modelos menores 7B e 13B são mais rápidos e mais adequados para tarefas que exigem baixa latência, como conclusão de código em tempo real.

Os modelos Code Llama fornecem gerações estáveis com até 100 mil tokens de contexto, informou a Meta. Todos os modelos são treinados em sequências de 16 mil tokens e mostram melhorias em entradas com até 100 mil tokens.

Outros ajustes da Meta

Captura de tela do Code Llama, inteligência artificial da Meta para programadores
(Imagem: Divulgação/Meta)

A Meta também anunciou nesta quinta que ajustou duas variações adicionais do Code Llama: “Code Llama – Python” e “Code Llama – Instruct”.

O “Code Llama – Python” é uma variação especializada em linguagem do Code Llama, ainda mais ajustada em tokens de 100B de código Python. Python é a linguagem mais referenciada para geração de código – e Python e PyTorch desempenham um papel importante na comunidade de IA.

Já o “Code Llama – Instruct” é uma variação de instrução ajustada e alinhada do Code Llama. O ajuste de instruções dá continuidade ao processo de treinamento, mas com um objetivo diferente, segundo a Meta.

O modelo é alimentado com uma entrada de “instrução de linguagem natural” e a saída esperada. Isso torna melhor a compreensão do que os humanos esperam de suas solicitações.

A empresa recomenda o uso de variantes “Code Llama – Instruct” sempre que o usuário optar pelo Code Llama para geração de código. Isso porque, segundo a Meta, o “Code Llama – Instruct” foi ajustado para gerar respostas úteis e seguras em linguagem natural.

Por fim, a Big Tech frisou que não recomenda usar Code Llama ou “Code Llama – Python” para executar tarefas gerais de linguagem natural, pois “nenhum desses modelos foi projetado para seguir instruções de linguagem natural”.

Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!