MusicGen AI

MusicGen AI: Geração de música por IA gratuita da Meta

O que é MusicGen AI?

MusicGen AI é uma ferramenta avançada e gratuita de geração de música por IA desenvolvida pela Meta. Essa ferramenta utiliza um único Modelo de Linguagem (LM) para criar músicas de alta qualidade com base em descrições de texto ou melodias. O MusicGen simplifica a composição musical orientada por IA, oferecendo uma experiência simplificada e amigável, tornando-o acessível tanto para músicos amadores quanto para profissionais experientes.

Como funciona o MusicGen AI?

O MusicGen opera codificando músicas em tokens compactados, que são então usados para gerar amostras de música. Ele é capaz de produzir música em vários formatos, incluindo mono e estéreo. Para saída estéreo, ele emprega dois conjuntos de codebooks, um para cada canal (esquerdo e direito). Os fluxos de áudio de cada canal são então combinados para produzir a saída estéreo final.

Principais recursos do MusicGen AI:

• Condicionamento de melodia: Gera música com base em estruturas melódicas de outras faixas de áudio ou melodias criadas pelo usuário.
• Geração condicional de texto: Cria música influenciada por descrições de texto que especificam gênero, tempo e outros parâmetros.
• Geração com áudio: Usa clipes de áudio existentes como base para a criação de novas músicas.
• Arquitetura de modelo avançada: Incorpora um codificador de texto, um decodificador baseado em modelo de linguagem e um codificador/decodificador de áudio para geração de música versátil.
• Modos de geração flexíveis: Oferece modos de geração gananciosos e de amostragem; a amostragem é recomendada para melhores resultados.
• Geração incondicional: Capaz de gerar música sem prompts ou entradas específicas.
• Extenso conjunto de dados de treinamento: Treinado em 20.000 horas de música licenciada diversificada, incluindo faixas instrumentais e de alta qualidade.
• Processo de geração personalizável: Permite que os usuários modifiquem parâmetros de geração, como escala de orientação e comprimento máximo.

MusicGen no Hugging Face

MusicGen também está disponível no Hugging Face, uma plataforma para modelos de aprendizado de máquina de última geração. Aqui, você pode explorar e experimentar a ferramenta, aproveitando seus recursos versáteis de geração de música, técnicas avançadas de AI e parâmetros personalizáveis dentro de uma comunidade colaborativa.

MusicGen WebUI: Uma interface amigável

A WebUI oferece uma interface intuitiva para gerar música usando AI. Veja como usá-la:

1. Execução de teste: Selecione um exemplo predefinido na WebUI para preencher automaticamente os campos necessários. Após o envio, o modelo leva cerca de 2 minutos para gerar uma música, que pode ser baixada ou salva do player de áudio.
2. Executando localmente: Para configurar localmente, instale Python, CUDA Toolkit da nVidia e outras dependências. Clone o código MusicGen do GitHub e instale os pacotes necessários usando o gerenciador de pacotes do Python.
3. Usando Prompts: Insira prompts descritivos para orientar a geração de música. Especifique emoções, gêneros, batidas por minuto e outros elementos musicais.
4. Guia de melodia: Audiocraft, um recurso do Musicgen, permite usar um arquivo de áudio como um guia para a geração de músicas. Isso permite criatividade em como a AI interpreta e transforma melodias em diferentes estilos ou gêneros.

Instalando Audiocraft com MusicGen

Esta seção o guiará pela instalação do Audiocraft, que aprimora os recursos do MusicGen. Envolve várias etapas, desde o download do Miniconda até a configuração de atalhos na área de trabalho para facilitar o acesso.

Etapa 1: Downloading and Installing Miniconda

Baixe o Miniconda do site oficial. Instale-o executando o script bash e seguindo os prompts. Certifique-se de que a instalação esteja configurada corretamente, verificando a versão do conda em seu terminal.

Etapa 2: Criando e ativando o ambiente Audiocraft Conda

Crie um novo ambiente conda com Python 3.9 usando o comando conda create -n audiocraft python=3.9. Ative o ambiente usando conda activate audiocraft.

Etapa 3: Instalando os pacotes necessários

Instale o FFmpeg usando codepip install ffmpeg. Clone o repositório Audiocraft do GitHub usando git clone https://github.com/facebookresearch/audiocraft.git. Navegue até o diretório Audiocraft e instale as dependências usando pip install -r requirements.txt.

Etapa 4: Executando MusicGen e AudioGen

Inicie o MusicGen executando python -m demos.musicgen_app. Isso iniciará o aplicativo na porta 7860. Você pode gerar música inserindo um prompt de texto. Para AudioGen, busque e confira as branches necessárias usando git fetch origin pull/185/head:pr-185 git checkout pr-185. Em seguida, inicie o AudioGen usando python -m demos.audiogen_app.

Etapa 5: Criando atalhos na área de trabalho para facilitar o acesso

Crie um script de inicialização para MusicGen e um ícone na área de trabalho para iniciar o aplicativo diretamente da sua área de trabalho. Isso envolve a criação de um arquivo .sh com os comandos necessários para ativar o ambiente conda e executar o aplicativo MusicGen e, em seguida, a criação de um arquivo .desktop que especifica os detalhes do aplicativo.

Por que o MusicGen AI é importante?

O MusicGen é importante devido à sua capacidade de democratizar a criação de música. Ele fornece aos usuários ferramentas para gerar peças musicais exclusivas sem a necessidade de treinamento musical extenso ou equipamentos caros. Sua versatilidade o torna adequado para várias aplicações, incluindo criação de conteúdo, educação e entretenimento.

Onde posso usar o MusicGen AI?

Você pode usar o MusicGen AI através de sua WebUI ou localmente, seguindo as etapas de instalação descritas acima. Ele é acessível através de plataformas como o Hugging Face, tornando-o uma ferramenta versátil para uso casual e profissional.

Conclusão

MusicGen AI representa um avanço significativo na geração de música orientada por IA. Sua versatilidade, facilidade de uso e a qualidade de sua saída o tornam uma ferramenta inestimável para quem procura explorar a interseção de IA e música. Seja você um músico, criador de conteúdo ou apenas curioso sobre IA, o MusicGen oferece uma maneira única e acessível de gerar música de alta qualidade a partir de prompts de texto ou melodias.