A Meta anunciou, nesta quinta-feira (24), uma nova ferramenta com inteligência artificial (IA) para programação: o Code Llama, desenvolvido sobre seu grande modelo de linguagem (LLM) Llama 2. O recurso consegue tanto escrever códigos de programação quanto depurar trabalhos escritos por humanos, conforme divulgado na página Meta AI.
Para quem tem pressa:
- A Meta anunciou uma nova ferramenta com inteligência artificial (IA) para programação: o Code Llama;
- A ferramenta é um grande modelo de linguagem (LLM) capaz de gerar código e linguagem natural sobre código, a partir de prompts de código e de linguagem natural;
- O Code Llama é gratuito para pesquisa e uso comercial;
- O LLM é construído sobre o Llama 2 e está disponível em três modelos: Code Llama, Python e Instruct.
Ainda de acordo com a empresa, o Code Llama tem potencial para agilizar fluxos de trabalho, bem como torná-los mais eficientes. O Code Llama usará a mesma licença comunitária do Llama 2. Isso significa que é um recurso de graça tanto para pesquisa quanto para uso comercial.
Leia mais:
- Meta lança IA que consegue traduzir (e converter) textos e conversas
- Meta: criptografia de ponta a ponta chegará ao Messenger ainda em 2023
- Meta for Business: o que é e como funciona
- Como desconectar o Instagram do Facebook
Code Llama tem potencial para ser usado como uma ferramenta educacional e de produtividade para ajudar os programadores a escreverem softwares mais robustos e bem documentados.
Meta
O Code Llama
O novo grande modelo de linguagem da Meta é uma versão especializada em código do Llama 2, criado por meio do treinamento adicional deste em seus conjuntos de dados específicos de código.
Essencialmente, o Code Llama apresenta recursos de codificação aprimorados, construídos sobre o Llama 2, segundo a Meta.
A empresa afirmou que ele pode gerar código e linguagem natural sobre o código, a partir de prompts de código e de linguagem natural (por exemplo, “Escreva uma função que produza a sequência de Fibonacci”).
Ainda de acordo com a Meta, o Code Llama também pode ser usado para conclusão e depuração de código. Ele suporta muitas das linguagens mais populares usadas atualmente, incluindo Python, C++, Java, PHP, Typescript (Javascript), C# e Bash, segundo a empresa.
A Meta lançou o Code Llama em três tamanhos, com parâmetros 7B, 13B e 34B respectivamente. Cada um desses modelos é treinado com 500 bilhões de tokens de código e dados relacionados ao código.
Os modelos base e instrutivo 7B e 13B também foram treinados com capacidade de preencher o meio (FIM, na sigla em inglês) – ou seja, conseguem inserir código no código existente, o que significa que podem suportar tarefas como conclusão de código.
Os três modelos atendem a diferentes requisitos de serviço e latência. O modelo 7B, por exemplo, pode ser servido em uma única GPU. O modelo 34B retorna os melhores resultados e permite melhor assistência de codificação, mas os modelos menores 7B e 13B são mais rápidos e mais adequados para tarefas que exigem baixa latência, como conclusão de código em tempo real.
Os modelos Code Llama fornecem gerações estáveis com até 100 mil tokens de contexto, informou a Meta. Todos os modelos são treinados em sequências de 16 mil tokens e mostram melhorias em entradas com até 100 mil tokens.
Outros ajustes da Meta
A Meta também anunciou nesta quinta que ajustou duas variações adicionais do Code Llama: “Code Llama – Python” e “Code Llama – Instruct”.
O “Code Llama – Python” é uma variação especializada em linguagem do Code Llama, ainda mais ajustada em tokens de 100B de código Python. Python é a linguagem mais referenciada para geração de código – e Python e PyTorch desempenham um papel importante na comunidade de IA.
Já o “Code Llama – Instruct” é uma variação de instrução ajustada e alinhada do Code Llama. O ajuste de instruções dá continuidade ao processo de treinamento, mas com um objetivo diferente, segundo a Meta.
O modelo é alimentado com uma entrada de “instrução de linguagem natural” e a saída esperada. Isso torna melhor a compreensão do que os humanos esperam de suas solicitações.
A empresa recomenda o uso de variantes “Code Llama – Instruct” sempre que o usuário optar pelo Code Llama para geração de código. Isso porque, segundo a Meta, o “Code Llama – Instruct” foi ajustado para gerar respostas úteis e seguras em linguagem natural.
Por fim, a Big Tech frisou que não recomenda usar Code Llama ou “Code Llama – Python” para executar tarefas gerais de linguagem natural, pois “nenhum desses modelos foi projetado para seguir instruções de linguagem natural”.
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
Tags: