Stable Cascade: Modelo eficiente de generación de texto a imagen

Stable Cascade: Una arquitectura eficiente para modelos de difusión de texto a imagen

Stable Cascade es un innovador modelo de texto a imagen desarrollado por Stability AI, que aprovecha la arquitectura Würstchen para lograr una alta eficiencia e impresionantes resultados visuales. Esta base de código de código abierto proporciona scripts de entrenamiento e inferencia, junto con varios modelos para diversas aplicaciones.

¿Qué es Stable Cascade?

Stable Cascade se distingue por su espacio latente altamente comprimido, lo que permite una inferencia más rápida y un entrenamiento más económico en comparación con modelos como Stable Diffusion. Al emplear un factor de compresión de 42, Stable Cascade codifica una imagen de 1024x1024 en una representación compacta de 24x24 manteniendo reconstrucciones nítidas. Esta eficiencia lo hace muy adecuado para escenarios donde los recursos computacionales son limitados.

¿Cómo funciona Stable Cascade?

Stable Cascade comprende tres modelos clave: Stage A, Stage B y Stage C. Las etapas A y B funcionan como autoencoders, comprimiendo imágenes a un espacio latente más pequeño. Stage C, un modelo de difusión, genera imágenes latentes de 24x24 a partir de un mensaje de texto dado. Este enfoque en cascada permite una generación de imágenes eficiente y de alta calidad.

Stage A: VAE (Autoencoder Variacional) para la compresión inicial.
Stage B: Modelo de difusión para una mayor compresión.
Stage C: Modelo de difusión condicional de texto para generar imágenes latentes.

Características y beneficios clave

Eficiencia: Un espacio latente más pequeño conduce a una inferencia más rápida y a una reducción de los costes de entrenamiento.
Alta compresión: Logra un factor de compresión de 42, codificando imágenes de 1024x1024 a 24x24.
Extensibilidad: Admite el ajuste fino, LoRA, ControlNet e IP-Adapter.
Resultados impresionantes: Ofrece una excelente alineación de mensajes y calidad estética.

Descripción general del modelo

La versión incluye múltiples puntos de control para cada etapa:

Stage C: Versiones de 1 mil millones y 3.6 mil millones de parámetros (se recomienda 3.6 mil millones).
Stage B: Versiones de 700 millones y 1.5 mil millones de parámetros (se recomienda 1.5 mil millones para obtener detalles más finos).
Stage A: Versión fija de 20 millones de parámetros.

Primeros pasos con Stable Cascade

Inferencia:

Utilice los cuadernos proporcionados en la sección inference para varios casos de uso:

Texto a imagen: Funcionalidad básica para la generación de texto a imagen, variación de imagen y tareas de imagen a imagen.
ControlNet: Integración con ControlNets para un control avanzado sobre la generación de imágenes (Inpainting, Face Identity, Canny, Super Resolution).
LoRA: Implementación para entrenar y usar LoRAs para ajustar la etapa C y agregar nuevos tokens.
Reconstrucción de imagen: Utilice Stage A y B como Autoencoders (de difusión), beneficiándose de una compresión mucho mayor, lo que le permite entrenar y ejecutar modelos más rápido.

Entrenamiento:

El código y las explicaciones para entrenar Stable Cascade desde cero, el ajuste fino y el entrenamiento de ControlNets y LoRAs están disponibles en la carpeta training.

Casos de uso

Generación de texto a imagen: Cree imágenes a partir de descripciones textuales.
Variación de imagen: Genere variaciones de imágenes existentes.
Traducción de imagen a imagen: Modifique imágenes basadas en mensajes de texto.
Integración de ControlNet: Controle la generación de imágenes utilizando varios ControlNets.
Personalización: Ajuste el modelo con LoRAs y conjuntos de datos personalizados.
Investigación eficiente de AI: Utilice el espacio latente altamente comprimido para entrenar sus propios modelos más rápido.

¿Para quién es Stable Cascade?

Stable Cascade es adecuado para:

Investigadores de AI que buscan modelos eficientes de texto a imagen.
Desarrolladores que crean aplicaciones que requieren una generación rápida de imágenes.
Artistas y diseñadores que exploran la creatividad asistida por AI.
Cualquier persona interesada en los últimos avances en modelos de difusión latente.

¿Por qué elegir Stable Cascade?

Eficiencia: Inferencia más rápida y entrenamiento más económico debido al espacio latente altamente comprimido.
Extensibilidad: Admite varias extensiones y opciones de personalización.
Rendimiento de vanguardia: Ofrece una excelente calidad visual y alineación de mensajes.
Código abierto: Base de código disponible gratuitamente y personalizable.

Casos de uso de ejemplo con imágenes

Texto a imagen: Genere una foto cinematográfica de un pingüino antropomórfico en un café leyendo un libro.
Variación de imagen: Cree variaciones de una imagen dada sin un mensaje.
Imagen a imagen: Agregue ruido a una imagen y regenérela basándose en un mensaje de texto.

Detalles técnicos

Stable Cascade logra un factor de compresión espacial de 1024 / 24 = 42.67, lo que permite una codificación y decodificación eficiente de imágenes con una mínima pérdida de detalle.

Comunidad y contribuciones

La base de código está en desarrollo activo y las contribuciones son bienvenidas. Comparta sus ideas, comentarios y actualizaciones para ayudar a mejorar Stable Cascade.

Licencia

El código está licenciado bajo la Licencia MIT, mientras que los pesos del modelo están bajo la LICENCIA DE COMUNIDAD DE INVESTIGACIÓN NO COMERCIAL DE STABILITY AI.