EDGE

EDGE: Generación de Danza con IA Editable a partir de Música

EDGE es una herramienta de IA de vanguardia que permite a los usuarios generar y editar coreografías de danza a partir de música. Aprovecha un modelo de difusión basado en transformadores combinado con Jukebox, un potente extractor de características musicales, para crear danzas realistas y físicamente plausibles. Esta tecnología abre nuevas posibilidades para bailarines, coreógrafos, desarrolladores de juegos y cualquier persona interesada en explorar la intersección de la IA y la danza.

¿Qué es EDGE?

EDGE es un método para la generación de danza editable capaz de crear danzas realistas y físicamente plausibles, a la vez que se mantiene fiel a la música de entrada arbitraria. Se basa en un modelo de difusión basado en transformadores y utiliza Jukebox para la extracción de características musicales. Esta combinación permite potentes capacidades de edición, lo que lo hace muy adecuado para aplicaciones de danza.

¿Cómo funciona EDGE?

1. Incrustación de Música: EDGE utiliza un modelo Jukebox pre-entrenado para codificar la música de entrada en incrustaciones, capturando los matices y las características de la música.
2. Modelo de Difusión Condicional: Un modelo de difusión condicional aprende a mapear la incrustación de música en una serie de clips de danza de 5 segundos. Este modelo se entrena con un conjunto de datos de movimientos de danza, lo que le permite generar secuencias de danza realistas y diversas.
3. Restricciones Temporales: En el momento de la inferencia, se aplican restricciones temporales a los lotes de múltiples clips para hacer cumplir la coherencia temporal. Esto asegura que la danza generada fluya suave y naturalmente con el tiempo.
4. Empalme: Los clips temporalmente consistentes se empalman para crear un video completo de longitud arbitraria. Esto permite a los usuarios generar danzas que coincidan con la duración de su música de entrada.

Características y Capacidades Clave

• Condicionamiento Conjunto: EDGE permite a los usuarios controlar el movimiento de articulaciones corporales específicas, permitiendo ediciones y personalizaciones dirigidas. Por ejemplo, los usuarios pueden generar el movimiento de la parte inferior del cuerpo basándose en el movimiento de la parte superior del cuerpo, o viceversa.
• Movimiento Intermedio: Esta característica permite a los usuarios especificar los movimientos iniciales y finales de una danza, y EDGE generará automáticamente los movimientos intermedios para crear una transición perfecta.
• Continuación de Danza: Los usuarios pueden proporcionar una secuencia de danza inicial, y EDGE generará una continuación que extiende perfectamente el movimiento original.
• Danzas Arbitrariamente Largas: EDGE puede generar danzas de cualquier longitud aplicando la continuidad temporal entre lotes de múltiples secuencias.
• Verosimilitud Física: EDGE está entrenado con la realidad física en mente, evitando el deslizamiento involuntario de los pies y asegurando que las danzas generadas se adhieran a principios biomecánicos realistas. La Pérdida de Consistencia de Contacto asegura que los pies deben y no deben deslizarse, lo que mejora significativamente el realismo físico manteniendo el deslizamiento intacto.

¿Por qué elegir EDGE?

EDGE supera a los métodos existentes en términos de realismo, verosimilitud física y editabilidad. Los evaluadores humanos prefieren fuertemente las danzas generadas por EDGE sobre las de trabajos anteriores como Bailando y FACT.

¿Para quién es EDGE?

• Bailarines y Coreógrafos: EDGE puede ser utilizado como una herramienta para explorar nuevas ideas de danza, generar variaciones de coreografías existentes o crear danzas personalizadas para piezas musicales específicas.
• Desarrolladores de Juegos: EDGE puede ser utilizado para generar animaciones de danza realistas y diversas para personajes de videojuegos.
• Investigadores de IA: EDGE sirve como una plataforma de investigación para explorar la intersección de la IA y la danza.
• Cualquier persona interesada en la IA y la danza: EDGE proporciona una forma accesible y atractiva de explorar el potencial creativo de la IA en el ámbito de la danza.

¿Cómo usar EDGE?

1. Cargue o seleccione una pista de música.
2. Utilice la Restricción Conjunta para generar la parte inferior del cuerpo a partir de la parte superior del cuerpo, o viceversa.
3. Utilice el Movimiento Intermedio para crear danzas que comiencen y terminen con movimientos preespecificados.
4. Utilice la Continuación de Danza para crear danzas que comiencen con un movimiento preespecificado.
5. Descargue el video de danza generado.

EDGE representa un avance significativo en el campo de la generación de danza impulsada por la IA, ofreciendo una herramienta poderosa y versátil para crear coreografías de danza realistas y editables. Su capacidad para generar movimientos físicamente plausibles, combinada con sus flexibles capacidades de edición, lo convierte en un recurso invaluable para bailarines, coreógrafos, desarrolladores de juegos y cualquier persona interesada en explorar la intersección de la IA y la danza.