MagicAnimate

MagicAnimate: Animação de Imagens Humanas Temporalmente Consistente usando Modelo de Difusão

MagicAnimate é um projeto de código aberto que produz vídeos animados a partir de uma única imagem e um vídeo de movimento usando uma estrutura baseada em difusão. Ele se concentra em manter a consistência temporal e preservar a imagem de referência, aprimorando a fidelidade da animação. Esta ferramenta é desenvolvida pelo Show Lab, National University of Singapore & Bytedance.

O que é MagicAnimate?

MagicAnimate se destaca na animação de imagens de referência com sequências de movimento de várias fontes, incluindo animações cross-ID e domínios invisíveis, como pinturas a óleo e personagens de filmes. Ele se integra com modelos de difusão de texto para imagem como o DALLE3, dando vida a imagens geradas por texto com ações dinâmicas.

Principais recursos e vantagens:

• Consistência Temporal: Mantém a consistência ao longo da animação.
• Preservação da Imagem de Referência: Preserva fielmente os detalhes da imagem de referência.
• Fidelidade de Animação Aprimorada: Melhora a qualidade e o realismo da animação.
• Fontes de Movimento Versáteis: Suporta sequências de movimento de várias fontes, incluindo domínios invisíveis.
• Integração com Modelos T2I: Compatível com modelos de difusão de texto para imagem como o DALLE3.

Desvantagens:

• Alguma distorção no rosto e nas mãos.
• Mudanças de estilo de anime para realismo nos rostos.
• Mudanças na proporção do corpo ao aplicar o estilo anime a vídeos baseados em humanos reais.

Começando com MagicAnimate:

1. Pré-requisitos: Certifique-se de ter Python >= 3.8, CUDA >= 11.3 e FFmpeg instalados.
2. Instalação:

   conda env create -f environment.yml
   conda activate manimate
   

Como usar MagicAnimate:

1. Demo Online: Experimente a demo online do MagicAnimate no Hugging Face ou Replicate.

2. Colab: Execute o MagicAnimate no Google Colab usando este tutorial: How to Run MagicAnimate on Colab.

3. Replicate API: Use a Replicate API para gerar vídeos animados.

   import Replicate from "replicate";
   
   const replicate = new Replicate({
     auth: process.env.REPLICATE_API_TOKEN,
   });
   
   const output = await replicate.run(
     "lucataco/magic-animate:e24ad72cc67dd2a365b5b909aca70371bba62b685019f4e96317e59d4ace6714",
     {
       input: {
         image: "https://example.com/image.png",
         video: "Input motion video",
         num_inference_steps: 25, // Number of denoising steps
         guidance_scale: 7.5, // Scale for classifier-free guidance
         seed: 349324 // Random seed. Leave blank to randomize the seed
       }
     }
   );
   

Como gerar vídeos de movimento:

• Use o OpenPose, uma biblioteca de detecção de pontos-chave multi-pessoa em tempo real, para converter vídeos em vídeos de movimento.
• Converta um vídeo de movimento para OpenPose com este modelo: video to openpose.
• Use o modelo magic-animate-openpose com OpenPose.

Recursos adicionais:

• Official MagicAnimate introduction
• MagicAnimate Paper.pdf
• MagicAnimate arXiv
• MagicAnimate GitHub Code
• MagicAnimate Demo

Qual é a função primária do MagicAnimate?

A função primária do MagicAnimate é gerar vídeos animados a partir de uma única imagem de referência e um vídeo de movimento, garantindo a consistência temporal e a alta fidelidade.

Como funciona o MagicAnimate?

MagicAnimate usa uma estrutura baseada em difusão para analisar o movimento no vídeo de entrada e aplicá-lo à imagem de referência, gerando um novo vídeo que imita o movimento, preservando as características visuais da imagem de referência.