Stable Cascade: Modelo eficiente de geração de texto para imagem

Stable Cascade: Uma arquitetura eficiente para modelos de difusão de texto para imagem

Stable Cascade é um modelo inovador de texto para imagem desenvolvido pela Stability AI, aproveitando a arquitetura Würstchen para alcançar alta eficiência e resultados visuais impressionantes. Esta base de código de código aberto fornece scripts de treinamento e inferência, juntamente com vários modelos para diversas aplicações.

O que é Stable Cascade?

Stable Cascade se distingue por seu espaço latente altamente comprimido, permitindo inferência mais rápida e treinamento mais barato em comparação com modelos como Stable Diffusion. Ao empregar um fator de compressão de 42, o Stable Cascade codifica uma imagem de 1024x1024 em uma representação compacta de 24x24, mantendo reconstruções nítidas. Essa eficiência o torna adequado para cenários onde os recursos computacionais são limitados.

Como funciona o Stable Cascade?

Stable Cascade compreende três modelos principais: Stage A, Stage B e Stage C. Os estágios A e B funcionam como autoencoders, comprimindo imagens para um espaço latente menor. Stage C, um modelo de difusão, gera imagens latentes de 24x24 a partir de um prompt de texto fornecido. Essa abordagem em cascata permite uma geração de imagem eficiente e de alta qualidade.

Stage A: VAE (Variational Autoencoder) para compressão inicial.
Stage B: Modelo de difusão para maior compressão.
Stage C: Modelo de difusão condicional de texto para gerar imagens latentes.

Principais recursos e benefícios

Eficiência: Espaço latente menor leva a uma inferência mais rápida e custos de treinamento reduzidos.
Alta compressão: Atinge um fator de compressão de 42, codificando imagens de 1024x1024 para 24x24.
Extensibilidade: Suporta ajuste fino, LoRA, ControlNet e IP-Adapter.
Resultados impressionantes: Oferece excelente alinhamento de prompt e qualidade estética.

Visão geral do modelo

A versão inclui vários checkpoints para cada estágio:

Stage C: Versões de 1 bilhão e 3,6 bilhões de parâmetros (3,6 bilhões recomendados).
Stage B: Versões de 700 milhões e 1,5 bilhão de parâmetros (1,5 bilhão recomendado para detalhes mais finos).
Stage A: Versão fixa de 20 milhões de parâmetros.

Primeiros passos com o Stable Cascade

Inferência:

Use os notebooks fornecidos na seção inference para vários casos de uso:

Texto para imagem: Funcionalidade básica para geração de texto para imagem, variação de imagem e tarefas de imagem para imagem.
ControlNet: Integração com ControlNets para controle avançado sobre a geração de imagens (Inpainting, Face Identity, Canny, Super Resolution).
LoRA: Implementação para treinar e usar LoRAs para ajustar o Stage C e adicionar novos tokens.
Reconstrução de imagem: Utilize Stage A & B como Autoencoders (de Difusão), beneficiando-se de uma compressão muito maior, permitindo treinar e executar modelos mais rapidamente.

Treinamento:

Código e explicações para treinar o Stable Cascade do zero, ajuste fino e treinamento de ControlNets e LoRAs estão disponíveis na pasta training.

Casos de uso

Geração de texto para imagem: Crie imagens a partir de descrições textuais.
Variação de imagem: Gere variações de imagens existentes.
Tradução de imagem para imagem: Modifique imagens com base em prompts de texto.
Integração ControlNet: Controle a geração de imagens usando vários ControlNets.
Personalização: Ajuste o modelo com LoRAs e conjuntos de dados personalizados.
Pesquisa eficiente de AI: Use o espaço latente altamente comprimido para treinar seus próprios modelos mais rapidamente.

Para quem é o Stable Cascade?

Stable Cascade é adequado para:

Pesquisadores de AI que buscam modelos eficientes de texto para imagem.
Desenvolvedores que criam aplicativos que exigem geração rápida de imagens.
Artistas e designers que exploram a criatividade assistida por AI.
Qualquer pessoa interessada nos últimos avanços em modelos de difusão latente.

Por que escolher o Stable Cascade?

Eficiência: Inferência mais rápida e treinamento mais barato devido ao espaço latente altamente comprimido.
Extensibilidade: Suporta várias extensões e opções de personalização.
Desempenho de última geração: Oferece excelente qualidade visual e alinhamento de prompt.
Código aberto: Base de código disponível gratuitamente e personalizável.

Casos de uso de exemplo com imagens

Texto para imagem: Gere uma foto cinematográfica de um pinguim antropomórfico em um café lendo um livro.
Variação de imagem: Crie variações de uma determinada imagem sem um prompt.
Imagem para imagem: Adicione ruído a uma imagem e regenere-a com base em um prompt de texto.

Detalhes técnicos

Stable Cascade atinge um fator de compressão espacial de 1024 / 24 = 42,67, permitindo codificação e decodificação eficiente de imagens com perda mínima de detalhes.

Comunidade e contribuições

A base de código está em desenvolvimento ativo e as contribuições são bem-vindas. Compartilhe suas ideias, comentários e atualizações para ajudar a melhorar o Stable Cascade.