MusicLM

MusicLM: Gerando Música a Partir de Texto

MusicLM é um modelo de AI desenvolvido pelo Google Research que gera música de alta fidelidade a partir de descrições textuais. Ele aborda a geração de música condicional como uma tarefa de modelagem hierárquica de sequência para sequência. Isso permite que ele gere música a 24 kHz que mantém a consistência por vários minutos.

O que é MusicLM?

MusicLM é um modelo de AI de ponta projetado para criar música a partir de descrições textuais. Ao contrário dos sistemas anteriores, o MusicLM se destaca tanto na qualidade de áudio quanto em sua capacidade de aderir estritamente à descrição de texto fornecida. Por exemplo, ele pode gerar "uma melodia de violino calmante apoiada por um riff de guitarra distorcida" com base apenas nesse texto.

Como funciona o MusicLM?

O MusicLM funciona enquadrando a geração de música como um problema de modelagem hierárquica de sequência para sequência. Essa abordagem permite que o modelo gere peças musicais longas e coerentes em uma alta fidelidade de 24 kHz. O modelo também pode ser condicionado tanto em texto quanto em melodia, permitindo que ele transforme melodias assobiadas ou cantaroladas em vários estilos descritos em uma legenda de texto.

Principais Recursos e Capacidades

• Geração de Música de Alta Fidelidade: Gera música a 24 kHz, garantindo alta qualidade de áudio.
• Conversão de Texto em Música: Cria música a partir de descrições de texto, como combinações de instrumentos ou gêneros específicos.
• Condicionamento de Melodia: Transforma melodias cantaroladas ou assobiadas em diferentes estilos com base em legendas de texto.
• Geração Longa: Mantém a consistência da música por vários minutos.

Casos de Uso

• Criação de Trilhas Sonoras: Geração de trilhas sonoras para jogos, vídeos ou outras mídias com base em descrições textuais.
• Composição Musical: Auxílio a músicos e compositores na criação de novas peças musicais.
• Geração de Música Personalizada: Criação de música adaptada às preferências individuais descritas em texto.
• Exploração Criativa: Exploração de diferentes estilos e combinações musicais por meio de prompts de texto.

Exemplos de Geração de Áudio a Partir de Legendas Ricas

• Trilha Sonora de Jogo de Arcade: Gera uma faixa de ritmo acelerado e otimista com riffs de guitarra elétrica cativantes, melodias repetitivas e batidas de pratos e rolagens de bateria inesperadas.
• Fusão de Reggaeton Espacial: Cria uma fusão de reggaeton e música eletrônica com um som de outro mundo, evocando uma sensação de admiração e facilidade para dançar.
• Construção de Synth Suave: Produz uma faixa com arpejos de sintetizador crescentes, pads, linhas de baixo sub e baterias suaves, criando uma atmosfera suave e aventureira adequada para festivais.
• Música Reggae Relaxada: Gera uma música reggae de ritmo lento, liderada por baixo e bateria, com guitarra elétrica sustentada, bongôs agudos e vocais relaxados e expressivos.

Modo História

O MusicLM pode gerar música com base em uma sequência de prompts de texto, influenciando como o modelo continua os tokens semânticos derivados da legenda anterior. Por exemplo, ele pode criar uma história musical com diferentes seções:

• Hora de meditar (0:00-0:15): Uma introdução calma e pacífica.
• Hora de acordar (0:15-0:30): Um segmento mais enérgico e estimulante.
• Hora de correr (0:30-0:45): Uma seção de ritmo acelerado e rítmico.
• Hora de dar 100% (0:45-0:60): Uma conclusão intensa e motivacional.

Condicionamento de Texto e Melodia

O MusicLM pode gerar música que respeita um determinado prompt de texto enquanto segue uma melodia fornecida. Os exemplos incluem transformar uma melodia cantarolada ou assobiada em diferentes estilos, como coral a cappella, sintetizador eletrônico principal, solo de guitarra, jazz com saxofone e muito mais.

Condicionamento de Legenda de Pintura

O MusicLM pode gerar música inspirada em descrições de pinturas, criando paisagens sonoras que refletem o conteúdo visual e emocional da obra de arte. Os exemplos incluem:

• A Persistência da Memória - Salvador Dalí: Gera música que captura a atmosfera surreal e onírica da pintura.
• Napoleão Cruzando os Alpes - Jacques-Louis David: Cria uma peça musical majestosa e heroica.
• A Dança - Henri Matisse: Produz uma composição alegre e rítmica.
• O Grito - Edvard Munch: Gera uma paisagem sonora perturbadora e inquietante.

Conjuntos de Dados

Para apoiar pesquisas futuras, a equipe do MusicLM lançou publicamente o MusicCaps, um conjunto de dados composto por 5,5 mil pares de música e texto, com descrições de texto ricas fornecidas por especialistas humanos.

Para quem é o MusicLM?

O MusicLM é projetado para:

• Músicos e compositores que buscam novas ferramentas para criar música.
• Desenvolvedores de jogos e cineastas que precisam de trilhas sonoras personalizadas.
• Pesquisadores de AI explorando a geração de texto para música.
• Qualquer pessoa interessada em explorar a interseção de AI e música.

Por que escolher o MusicLM?

O MusicLM se destaca devido a:

• Geração de áudio de alta fidelidade.
• Capacidade de aderir a descrições de texto detalhadas.
• Capacidade de transformar melodias em vários estilos.
• Suporte para peças musicais longas e consistentes.

MusicLM é uma ferramenta poderosa para gerar música de alta qualidade a partir de descrições de texto, oferecendo uma ampla gama de possibilidades criativas para músicos, desenvolvedores e pesquisadores.