EDGE

EDGE : Génération de danse par l’IA modifiable à partir de musique

EDGE est un outil d’IA de pointe qui permet aux utilisateurs de générer et de modifier des chorégraphies de danse à partir de musique. Il exploite un modèle de diffusion basé sur un transformateur combiné à Jukebox, un puissant extracteur de fonctionnalités musicales, pour créer des danses réalistes et physiquement plausibles. Cette technologie ouvre de nouvelles possibilités aux danseurs, aux chorégraphes, aux développeurs de jeux et à tous ceux qui s’intéressent à l’intersection de l’IA et de la danse.

Qu’est-ce qu’EDGE ?

EDGE est une méthode de génération de danse modifiable capable de créer des danses réalistes et physiquement plausibles tout en restant fidèle à une musique d’entrée arbitraire. Il est basé sur un modèle de diffusion basé sur un transformateur et utilise Jukebox pour l’extraction de fonctionnalités musicales. Cette combinaison permet de puissantes capacités d’édition, ce qui le rend bien adapté aux applications de danse.

Comment fonctionne EDGE ?

1. Intégration musicale: EDGE utilise un modèle Jukebox pré-entraîné pour encoder la musique d’entrée en intégrations, capturant ainsi les nuances et les caractéristiques de la musique.
2. Modèle de diffusion conditionnelle: Un modèle de diffusion conditionnelle apprend à mapper l’intégration musicale en une série de clips de danse de 5 secondes. Ce modèle est entraîné sur un ensemble de données de mouvements de danse, ce qui lui permet de générer des séquences de danse réalistes et diverses.
3. Contraintes temporelles: Au moment de l’inférence, des contraintes temporelles sont appliquées à des lots de plusieurs clips pour garantir la cohérence temporelle. Cela garantit que la danse générée se déroule de manière fluide et naturelle au fil du temps.
4. Assemblage: Les clips temporellement cohérents sont ensuite assemblés pour créer une vidéo complète de longueur arbitraire. Cela permet aux utilisateurs de générer des danses qui correspondent à la durée de leur musique d’entrée.

Principales caractéristiques et capacités

• Conditionnement par articulation: EDGE permet aux utilisateurs de contrôler le mouvement d’articulations spécifiques du corps, ce qui permet des modifications et des personnalisations ciblées. Par exemple, les utilisateurs peuvent générer le mouvement du bas du corps en fonction du mouvement du haut du corps, ou vice versa.
• Interpolation de mouvement: Cette fonctionnalité permet aux utilisateurs de spécifier les mouvements de début et de fin d’une danse, et EDGE générera automatiquement les mouvements intermédiaires pour créer une transition fluide.
• Continuation de la danse: Les utilisateurs peuvent fournir une séquence de danse initiale, et EDGE générera une continuation qui prolongera de manière transparente le mouvement d’origine.
• Danses de longueur arbitraire: EDGE peut générer des danses de n’importe quelle longueur en appliquant la continuité temporelle entre les lots de plusieurs séquences.
• Plausibilité physique: EDGE est formé dans un souci de réalisme physique, évitant tout glissement de pied involontaire et garantissant que les danses générées respectent les principes biomécaniques réalistes. La perte de cohérence du contact garantit que les pieds doivent et ne doivent pas glisser, ce qui améliore considérablement le réalisme physique tout en maintenant le glissement intact.

Pourquoi choisir EDGE ?

EDGE surpasse les méthodes existantes en termes de réalisme, de plausibilité physique et de capacité d’édition. Les évaluateurs humains préfèrent largement les danses générées par EDGE à celles des travaux antérieurs comme Bailando et FACT.

À qui s’adresse EDGE ?

• Danseurs et chorégraphes: EDGE peut être utilisé comme un outil pour explorer de nouvelles idées de danse, générer des variations sur une chorégraphie existante ou créer des danses personnalisées pour des pièces musicales spécifiques.
• Développeurs de jeux: EDGE peut être utilisé pour générer des animations de danse réalistes et diverses pour les personnages de jeux vidéo.
• Chercheurs en IA: EDGE sert de plateforme de recherche pour explorer l’intersection de l’IA et de la danse.
• Toute personne intéressée par l’IA et la danse: EDGE offre un moyen accessible et attrayant d’explorer le potentiel créatif de l’IA dans le domaine de la danse.

Comment utiliser EDGE ?

1. Téléchargez ou sélectionnez une piste musicale.
2. Utilisez la contrainte par articulation pour générer le bas du corps à partir du haut du corps, ou vice versa.
3. Utilisez l’interpolation de mouvement pour créer des danses qui commencent et se terminent par des mouvements prédéfinis.
4. Utilisez la continuation de la danse pour créer des danses qui commencent par un mouvement prédéfini.
5. Téléchargez la vidéo de danse générée.

EDGE représente une avancée significative dans le domaine de la génération de danse basée sur l’IA, offrant un outil puissant et polyvalent pour créer des chorégraphies de danse réalistes et modifiables. Sa capacité à générer des mouvements physiquement plausibles, combinée à ses capacités d’édition flexibles, en fait une ressource inestimable pour les danseurs, les chorégraphes, les développeurs de jeux et tous ceux qui s’intéressent à l’intersection de l’IA et de la danse.