A Meta anunciou nesta semana o MusicGen, seu novo modelo de IA que gera novas músicas a partir de prompts (comandos) de texto. A Inteligência Artificial também pode ser aplicada a uma canção já existente.
O que você precisa saber
- O modelo foi treinado com cerca de 20 mil horas de música, incluindo cerca de 10 mil faixas;
- Também foram utilizadas cerca 390 mil faixas de instrumentos musicais do Shutterstock e Pond5;
- O código aberto do modelo de linguagem está disponível no GitHub;
- A IA permite que o usuário faça uma descrição do tipo de música que deseja criar, como estilo, melodia, instrumentos e mais opções;
- “MusicGen produz amostras de alta qualidade que são mais bem alinhadas melodicamente com uma determinada estrutura harmônica, enquanto aderem a uma descrição textual”, descreve a Meta;
- A empresa diz que o MusicGen teve um resultado melhor que outros modelos semelhantes, como o MusicLM, do Google.
Em uma postagem no Twitter, Felix Kreuk, engenheiro de pesquisa de IA da Meta, mostrou as possibilidades de uso do MusicGen.
Leia mais:
- Taylor Swift no Brasil: fila virtual tem mais de 2 milhões de pessoas
- Como melhorar o som no Spotify no iPhone e Mac
- Como melhorar o som no Spotify no Android e Windows?
Apresentamos MusicGen: Um modelo de geração de música simples e controlável. MusicGen pode ser solicitado por texto e melodia. Lançamos código (MIT) e modelos (CC-BY NC) para pesquisa aberta, reprodutibilidade e para a comunidade musical.
Felix Kreuk, engenheiro de pesquisa de IA da Meta.
Felix explica que o MusicGen foi construído com um tokenizador de áudio EnCodec e usa a API do Hugging Face, que permite aos usuários testarem o modelo online.
Em um artigo, a Meta explicou que testou três versões da ferramenta, com 300 milhões, 1,5 bilhão e 3,3 bilhões de parâmetros. Nas avaliações, a empresa descobriu que os usuários preferem a versão intermediária, de 1,5 bilhão.
A Meta diz que as músicas usadas no treinamento da ferramenta são liberadas por acordos legais com os detentores de direitos autorais.
O novo modelo de linguagem para músicas compete com o MusicLM, lançado recentemente pelo Google. A Meta comparou o desempenho do MusicGen com o MusicLM e outros modelos parecidos, como o Riffusion e o Mousai. Clique aqui e ouça a diferença.
Com informações de The Decoder, TechXplore e Gizmodo.
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
Tags: