MagicAnimate

MagicAnimate: Animación de Imágenes Humanas Temporalmente Consistente usando Modelo de Difusión

MagicAnimate es un proyecto de código abierto que produce videos animados a partir de una sola imagen y un video de movimiento utilizando un marco basado en la difusión. Se centra en mantener la consistencia temporal y preservar la imagen de referencia al tiempo que mejora la fidelidad de la animación. Esta herramienta está desarrollada por Show Lab, National University of Singapore & Bytedance.

¿Qué es MagicAnimate?

MagicAnimate destaca en la animación de imágenes de referencia con secuencias de movimiento de diversas fuentes, incluyendo animaciones cross-ID y dominios no vistos como pinturas al óleo y personajes de películas. Se integra con modelos de difusión de texto a imagen como DALLE3, dando vida a imágenes generadas por texto con acciones dinámicas.

Características y Ventajas Clave:

• Consistencia Temporal: Mantiene la consistencia a lo largo de la animación.
• Preservación de la Imagen de Referencia: Preserva fielmente los detalles de la imagen de referencia.
• Fidelidad de Animación Mejorada: Mejora la calidad y el realismo de la animación.
• Fuentes de Movimiento Versátiles: Admite secuencias de movimiento de diversas fuentes, incluyendo dominios no vistos.
• Integración con Modelos T2I: Compatible con modelos de difusión de texto a imagen como DALLE3.

Desventajas:

• Alguna distorsión en la cara y las manos.
• Cambios de estilo de anime a realismo en las caras.
• Cambios en la proporción del cuerpo al aplicar el estilo anime a videos basados en humanos reales.

Empezando con MagicAnimate:

1. Prerrequisitos: Asegúrese de tener Python >= 3.8, CUDA >= 11.3, y FFmpeg instalado.
2. Instalación:

   conda env create -f environment.yml
   conda activate manimate
   

Cómo Usar MagicAnimate:

1. Demo Online: Pruebe la demo online de MagicAnimate en Hugging Face o Replicate.

2. Colab: Ejecute MagicAnimate en Google Colab usando este tutorial: How to Run MagicAnimate on Colab.

3. Replicate API: Use la Replicate API para generar videos animados.

   import Replicate from "replicate";
   
   const replicate = new Replicate({
     auth: process.env.REPLICATE_API_TOKEN,
   });
   
   const output = await replicate.run(
     "lucataco/magic-animate:e24ad72cc67dd2a365b5b909aca70371bba62b685019f4e96317e59d4ace6714",
     {
       input: {
         image: "https://example.com/image.png",
         video: "Input motion video",
         num_inference_steps: 25, // Number of denoising steps
         guidance_scale: 7.5, // Scale for classifier-free guidance
         seed: 349324 // Random seed. Leave blank to randomize the seed
       }
     }
   );
   

Cómo Generar Videos de Movimiento:

• Use OpenPose, una biblioteca de detección de puntos clave multi-persona en tiempo real, para convertir videos en videos de movimiento.
• Convierta un video de movimiento a OpenPose con este modelo: video to openpose.
• Use el modelo magic-animate-openpose con OpenPose.

Recursos Adicionales:

• Official MagicAnimate introduction
• MagicAnimate Paper.pdf
• MagicAnimate arXiv
• MagicAnimate GitHub Code
• MagicAnimate Demo

¿Cuál es la función principal de MagicAnimate?

La función principal de MagicAnimate es generar videos animados a partir de una sola imagen de referencia y un video de movimiento, asegurando la consistencia temporal y la alta fidelidad.

¿Cómo funciona MagicAnimate?

MagicAnimate utiliza un marco basado en la difusión para analizar el movimiento en el video de entrada y aplicarlo a la imagen de referencia, generando un nuevo video que imita el movimiento al tiempo que preserva las características visuales de la imagen de referencia.