MagicAnimate

MagicAnimate : animation d’images humaines temporellement cohérente à l’aide d’un modèle de diffusion

MagicAnimate est un projet open source qui produit des vidéos animées à partir d’une seule image et d’une vidéo de mouvement à l’aide d’un cadre basé sur la diffusion. Il se concentre sur le maintien de la cohérence temporelle et la préservation de l’image de référence tout en améliorant la fidélité de l’animation. Cet outil est développé par Show Lab, National University of Singapore et Bytedance.

Qu’est-ce que MagicAnimate ?

MagicAnimate excelle dans l’animation d’images de référence avec des séquences de mouvement provenant de diverses sources, y compris des animations inter-ID et des domaines invisibles comme les peintures à l’huile et les personnages de films. Il s’intègre aux modèles de diffusion texte-image comme DALLE3, donnant vie à des images incitées par du texte avec des actions dynamiques.

Principales caractéristiques et avantages :

• Cohérence temporelle: Maintient la cohérence tout au long de l’animation.
• Préservation de l’image de référence: Préserve fidèlement les détails de l’image de référence.
• Fidélité d’animation améliorée: Améliore la qualité et le réalisme de l’animation.
• Sources de mouvement polyvalentes: Prend en charge les séquences de mouvement provenant de diverses sources, y compris les domaines invisibles.
• Intégration aux modèles T2I: Compatible avec les modèles de diffusion texte-image comme DALLE3.

Inconvénients :

• Une certaine distorsion du visage et des mains.
• Changements de style, de l’anime au réalisme, sur les visages.
• Changements de proportion du corps lors de l’application du style anime aux vidéos basées sur des humains réels.

Démarrage avec MagicAnimate :

1. Prérequis: Assurez-vous d’avoir Python >= 3.8, CUDA >= 11.3 et FFmpeg installé.
2. Installation:

   conda env create -f environment.yml
   conda activate manimate
   

Comment utiliser MagicAnimate :

1. Démo en ligne: Essayez la démo en ligne de MagicAnimate sur Hugging Face ou Replicate.

2. Colab: Exécutez MagicAnimate sur Google Colab à l’aide de ce didacticiel : How to Run MagicAnimate on Colab.

3. API Replicate: Utilisez l’API Replicate pour générer des vidéos animées.

   import Replicate from "replicate";
   
   const replicate = new Replicate({
     auth: process.env.REPLICATE_API_TOKEN,
   });
   
   const output = await replicate.run(
     "lucataco/magic-animate:e24ad72cc67dd2a365b5b909aca70371bba62b685019f4e96317e59d4ace6714",
     {
       input: {
         image: "https://example.com/image.png",
         video: "Input motion video",
         num_inference_steps: 25, // Number of denoising steps
         guidance_scale: 7.5, // Scale for classifier-free guidance
         seed: 349324 // Random seed. Leave blank to randomize the seed
       }
     }
   );
   

Comment générer des vidéos de mouvement :

• Utilisez OpenPose, une bibliothèque de détection de points clés multi-personnes en temps réel, pour convertir les vidéos en vidéos de mouvement.
• Convertissez une vidéo de mouvement en OpenPose avec ce modèle : video to openpose.
• Utilisez le modèle magic-animate-openpose avec OpenPose.

Ressources supplémentaires :

• Official MagicAnimate introduction
• MagicAnimate Paper.pdf
• MagicAnimate arXiv
• MagicAnimate GitHub Code
• MagicAnimate Demo

Quelle est la fonction principale de MagicAnimate ?

La fonction principale de MagicAnimate est de générer des vidéos animées à partir d’une seule image de référence et d’une vidéo de mouvement, garantissant ainsi la cohérence temporelle et une haute fidélité.

Comment fonctionne MagicAnimate ?

MagicAnimate utilise un cadre basé sur la diffusion pour analyser le mouvement dans la vidéo d’entrée et l’appliquer à l’image de référence, générant ainsi une nouvelle vidéo qui imite le mouvement tout en préservant les caractéristiques visuelles de l’image de référence.