EDGE

EDGE: Geração de Dança com IA Editável a partir da Música

EDGE é uma ferramenta de IA de ponta que permite aos usuários gerar e editar coreografias de dança a partir da música. Ela aproveita um modelo de difusão baseado em transformadores combinado com o Jukebox, um poderoso extrator de recursos musicais, para criar danças realistas e fisicamente plausíveis. Essa tecnologia abre novas possibilidades para dançarinos, coreógrafos, desenvolvedores de jogos e qualquer pessoa interessada em explorar a interseção de IA e dança.

O que é EDGE?

EDGE é um método para geração de dança editável capaz de criar danças realistas e fisicamente plausíveis, mantendo-se fiel à música de entrada arbitrária. Ele é construído sobre um modelo de difusão baseado em transformadores e utiliza o Jukebox para extração de recursos musicais. Essa combinação permite poderosos recursos de edição, tornando-o adequado para aplicações de dança.

Como o EDGE funciona?

1. Incorporação de Música: EDGE usa um modelo Jukebox pré-treinado para codificar a música de entrada em incorporações, capturando as nuances e características da música.
2. Modelo de Difusão Condicional: Um modelo de difusão condicional aprende a mapear a incorporação de música em uma série de clipes de dança de 5 segundos. Este modelo é treinado em um conjunto de dados de movimentos de dança, permitindo que ele gere sequências de dança realistas e diversas.
3. Restrições Temporais: No momento da inferência, restrições temporais são aplicadas a lotes de vários clipes para impor a consistência temporal. Isso garante que a dança gerada flua suave e naturalmente ao longo do tempo.
4. Costura: Os clipes temporalmente consistentes são então costurados para criar um vídeo completo de comprimento arbitrário. Isso permite que os usuários gerem danças que correspondam à duração de sua música de entrada.

Principais Características e Capacidades

• Condicionamento por Articulação: EDGE permite que os usuários controlem o movimento de articulações corporais específicas, permitindo edições e personalizações direcionadas. Por exemplo, os usuários podem gerar o movimento da parte inferior do corpo com base no movimento da parte superior do corpo, ou vice-versa.
• Interpolação de Movimento: Este recurso permite que os usuários especifiquem os movimentos inicial e final de uma dança, e EDGE gerará automaticamente os movimentos intermediários para criar uma transição perfeita.
• Continuação da Dança: Os usuários podem fornecer uma sequência de dança inicial, e EDGE gerará uma continuação que estende perfeitamente o movimento original.
• Danças Arbitrariamente Longas: EDGE pode gerar danças de qualquer comprimento, aplicando a continuidade temporal entre lotes de várias sequências.
• Plausibilidade Física: EDGE é treinado com o realismo físico em mente, evitando o deslizamento involuntário dos pés e garantindo que as danças geradas adiram a princípios biomecânicos realistas. A Perda de Consistência de Contato garante que os pés devem e não devem deslizar, o que melhora significativamente o realismo físico, mantendo o deslizamento intacto.

Por que escolher EDGE?

EDGE supera os métodos existentes em termos de realismo, plausibilidade física e editabilidade. Avaliadores humanos preferem fortemente as danças geradas por EDGE em relação às de trabalhos anteriores, como Bailando e FACT.

Para quem é o EDGE?

• Dançarinos e Coreógrafos: EDGE pode ser usado como uma ferramenta para explorar novas ideias de dança, gerar variações em coreografias existentes ou criar danças personalizadas para peças musicais específicas.
• Desenvolvedores de Jogos: EDGE pode ser usado para gerar animações de dança realistas e diversas para personagens de videogames.
• Pesquisadores de IA: EDGE serve como uma plataforma de pesquisa para explorar a interseção de IA e dança.
• Qualquer pessoa interessada em IA e dança: EDGE fornece uma maneira acessível e envolvente de explorar o potencial criativo da IA no reino da dança.

Como usar o EDGE?

1. Carregue ou selecione uma faixa de música.
2. Use a Restrição por Articulação para gerar a parte inferior do corpo a partir da parte superior do corpo, ou vice-versa.
3. Use a Interpolação de Movimento para criar danças que começam e terminam com movimentos pré-especificados.
4. Use a Continuação da Dança para criar danças que começam com um movimento pré-especificado.
5. Baixe o vídeo de dança gerado.

EDGE representa um avanço significativo no campo da geração de dança orientada por IA, oferecendo uma ferramenta poderosa e versátil para criar coreografias de dança realistas e editáveis. Sua capacidade de gerar movimentos fisicamente plausíveis, combinada com seus recursos de edição flexíveis, o torna um recurso inestimável para dançarinos, coreógrafos, desenvolvedores de jogos e qualquer pessoa interessada em explorar a interseção de IA e dança.