Stable Cascade

Stable Cascade: 텍스트-이미지 확산 모델을 위한 효율적인 아키텍처

Stable Cascade는 Stability AI에서 개발한 혁신적인 텍스트-이미지 모델로, Würstchen 아키텍처를 활용하여 높은 효율성과 인상적인 시각적 결과를 달성합니다. 이 오픈 소스 코드베이스는 다양한 애플리케이션을 위한 다양한 모델과 함께 훈련 및 추론 스크립트를 제공합니다.

Stable Cascade란 무엇입니까?

Stable Cascade는 Stable Diffusion과 같은 모델에 비해 더 빠른 추론과 저렴한 훈련을 가능하게 하는 고도로 압축된 잠재 공간을 통해 두각을 나타냅니다. 42의 압축 계수를 사용하여 Stable Cascade는 1024x1024 이미지를 컴팩트한 24x24 표현으로 인코딩하면서 선명한 재구성을 유지합니다. 이러한 효율성은 컴퓨팅 리소스가 제한된 시나리오에 적합합니다.

Stable Cascade는 어떻게 작동합니까?

Stable Cascade는 Stage A, Stage B 및 Stage C의 세 가지 주요 모델로 구성됩니다. Stage A와 Stage B는 오토인코더로 작동하여 이미지를 더 작은 잠재 공간으로 압축합니다. 확산 모델인 Stage C는 주어진 텍스트 프롬프트에서 24x24 잠재 이미지를 생성합니다. 이 계단식 접근 방식은 효율적이고 고품질의 이미지 생성을 가능하게 합니다.

• Stage A: 초기 압축을 위한 VAE (Variational Autoencoder).
• Stage B: 추가 압축을 위한 확산 모델.
• Stage C: 잠재 이미지 생성을 위한 텍스트 조건부 확산 모델.

주요 기능 및 이점

• 효율성: 더 작은 잠재 공간은 더 빠른 추론과 감소된 훈련 비용으로 이어집니다.
• 고압축: 42의 압축 계수를 달성하여 1024x1024 이미지를 24x24로 인코딩합니다.
• 확장성: 미세 조정, LoRA, ControlNet 및 IP-Adapter를 지원합니다.
• 인상적인 결과: 탁월한 프롬프트 정렬 및 미적 품질을 제공합니다.

모델 개요

릴리스에는 각 스테이지에 대한 여러 체크포인트가 포함되어 있습니다.

• Stage C: 10억 및 36억 파라미터 버전 (36억 권장).
• Stage B: 7억 및 15억 파라미터 버전 (더 미세한 세부 사항을 위해 15억 권장).
• Stage A: 고정 2천만 파라미터 버전.

Stable Cascade 시작하기

추론:

다양한 사용 사례에 대해서는 inference 섹션에서 제공되는 노트북을 사용하십시오.

• 텍스트-이미지: 텍스트-이미지 생성, 이미지 변형 및 이미지-이미지 작업에 대한 기본 기능.
• ControlNet: 이미지 생성에 대한 고급 제어를 위한 ControlNet과의 통합 (Inpainting, 얼굴 식별, Canny, 초고해상도).
• LoRA: Stage C를 미세 조정하고 새 토큰을 추가하기 위한 LoRA 훈련 및 사용을 위한 구현.
• 이미지 재구성: Stage A & B를 (확산) 오토인코더로 활용하여 훨씬 더 높은 압축률을 활용하여 모델을 더 빠르게 훈련하고 실행할 수 있습니다.

훈련:

Stable Cascade를 처음부터 훈련, 미세 조정 및 ControlNet 및 LoRA 훈련을 위한 코드 및 설명은 training 폴더에서 확인할 수 있습니다.

사용 사례

• 텍스트-이미지 생성: 텍스트 설명을 기반으로 이미지를 생성합니다.
• 이미지 변형: 기존 이미지의 변형을 생성합니다.
• 이미지-이미지 변환: 텍스트 프롬프트에 따라 이미지를 수정합니다.
• ControlNet 통합: 다양한 ControlNet을 사용하여 이미지 생성을 제어합니다.
• 사용자 정의: LoRA 및 사용자 정의 데이터 세트로 모델을 미세 조정합니다.
• 효율적인 AI 연구: 고도로 압축된 잠재 공간을 사용하여 자신의 모델을 더 빠르게 훈련합니다.

Stable Cascade는 누구를 위한 것입니까?

Stable Cascade는 다음에 적합합니다.

• 효율적인 텍스트-이미지 모델을 찾는 AI 연구원.
• 빠른 이미지 생성이 필요한 애플리케이션을 구축하는 개발자.
• AI 지원 창의성을 탐구하는 예술가 및 디자이너.
• 잠재 확산 모델의 최신 발전에 관심이 있는 사람.

Stable Cascade를 선택하는 이유

• 효율성: 고도로 압축된 잠재 공간으로 인해 더 빠른 추론과 저렴한 훈련이 가능합니다.
• 확장성: 다양한 확장 및 사용자 정의 옵션을 지원합니다.
• 최첨단 성능: 탁월한 시각적 품질과 프롬프트 정렬을 제공합니다.
• 오픈 소스: 무료로 사용 가능하고 사용자 정의 가능한 코드베이스.

이미지가 포함된 사용 사례 예시

• 텍스트-이미지: 카페에서 책을 읽고 있는 의인화된 펭귄의 영화 같은 사진을 생성합니다.
• 이미지 변형: 프롬프트 없이 주어진 이미지의 변형을 생성합니다.
• 이미지-이미지: 이미지에 노이즈를 추가하고 텍스트 프롬프트를 기반으로 다시 생성합니다.

기술 세부 사항

Stable Cascade는 1024 / 24 = 42.67의 공간 압축 계수를 달성하여 세부 사항 손실을 최소화하면서 효율적인 이미지 인코딩 및 디코딩을 가능하게 합니다.

커뮤니티 및 기여

코드베이스는 활발하게 개발 중이며 기여를 환영합니다. Stable Cascade 개선에 도움이 될 아이디어, 피드백 및 업데이트를 공유하십시오.

라이선스

코드는 MIT 라이선스에 따라 라이선스가 부여되고 모델 가중치는 STABILITY AI NON-COMMERCIAL RESEARCH COMMUNITY LICENSE에 따라 라이선스가 부여됩니다.

지금 시작하세요

공식 Stable Cascade 코드베이스를 탐색하고 효율적인 텍스트-이미지 생성으로 창의력을 발휘하십시오!