EDGE

EDGE: 편집 가능한 AI 댄스 생성 (음악 기반)

EDGE는 사용자가 음악에서 댄스 안무를 생성하고 편집할 수 있도록 지원하는 최첨단 AI 도구입니다. 트랜스포머 기반 확산 모델과 강력한 음악 특징 추출기인 Jukebox를 결합하여 현실적이고 물리적으로 타당한 댄스를 만듭니다. 이 기술은 댄서, 안무가, 게임 개발자, 그리고 AI와 댄스의 교차점에 관심 있는 모든 사람에게 새로운 가능성을 열어줍니다.

EDGE란 무엇인가요?

EDGE는 현실적이고 물리적으로 타당한 댄스를 생성하는 동시에 임의의 입력 음악에 충실할 수 있는 편집 가능한 댄스 생성 방법입니다. 트랜스포머 기반 확산 모델을 기반으로 구축되었으며 음악 특징 추출을 위해 Jukebox를 활용합니다. 이 조합은 강력한 편집 기능을 가능하게 하여 댄스 애플리케이션에 적합합니다.

EDGE는 어떻게 작동하나요?

1. 음악 임베딩: EDGE는 사전 훈련된 Jukebox 모델을 사용하여 입력 음악을 임베딩으로 인코딩하여 음악의 뉘앙스와 특징을 포착합니다.
2. 조건부 확산 모델: 조건부 확산 모델은 음악 임베딩을 5초 댄스 클립 시리즈에 매핑하는 방법을 학습합니다. 이 모델은 댄스 동작 데이터 세트에서 훈련되어 현실적이고 다양한 댄스 시퀀스를 생성할 수 있습니다.
3. 시간 제약 조건: 추론 시 시간적 일관성을 적용하기 위해 여러 클립의 배치에 시간 제약 조건이 적용됩니다. 이렇게 하면 생성된 댄스가 시간이 지남에 따라 부드럽고 자연스럽게 흐르도록 보장합니다.
4. 스티칭: 시간적으로 일관된 클립을 함께 스티칭하여 임의의 길이의 전체 비디오를 만듭니다. 이를 통해 사용자는 입력 음악의 지속 시간과 일치하는 댄스를 생성할 수 있습니다.

주요 기능 및 역량

• 관절별 조건화: EDGE를 사용하면 사용자가 특정 신체 관절의 움직임을 제어하여 타겟 편집 및 사용자 정의가 가능합니다. 예를 들어 사용자는 상체 움직임을 기반으로 하체 움직임을 생성하거나 그 반대로 할 수 있습니다.
• 모션 인비트위닝: 이 기능을 사용하면 사용자가 댄스의 시작 및 끝 모션을 지정할 수 있으며, EDGE는 자동으로 중간 모션을 생성하여 매끄러운 전환을 만듭니다.
• 댄스 연속: 사용자는 초기 댄스 시퀀스를 제공할 수 있으며 EDGE는 원래 모션을 매끄럽게 확장하는 연속을 생성합니다.
• 임의로 긴 댄스: EDGE는 여러 시퀀스 배치의 시간적 연속성을 적용하여 임의의 길이의 댄스를 생성할 수 있습니다.
• 물리적 타당성: EDGE는 물리적 현실감을 염두에 두고 훈련되어 의도치 않은 발 미끄러짐을 방지하고 생성된 댄스가 현실적인 생체 역학 원칙을 준수하도록 합니다. 접촉 일관성 손실은 발이 미끄러져서는 안 되는 것을 보장하여 미끄러짐을 유지하면서 물리적 현실감을 크게 향상시킵니다.

EDGE를 선택해야 하는 이유

EDGE는 현실감, 물리적 타당성 및 편집 가능성 측면에서 기존 방법보다 뛰어납니다. 인간 평가자는 Bailando 및 FACT와 같은 이전 작업보다 EDGE에서 생성된 댄스를 선호합니다.

EDGE는 누구를 위한 것인가요?

• 댄서 및 안무가: EDGE는 새로운 댄스 아이디어를 탐색하거나 기존 안무의 변형을 생성하거나 특정 음악 작품을 위한 맞춤형 댄스를 만드는 도구로 사용할 수 있습니다.
• 게임 개발자: EDGE는 비디오 게임 캐릭터를 위한 현실적이고 다양한 댄스 애니메이션을 생성하는 데 사용할 수 있습니다.
• AI 연구원: EDGE는 AI와 댄스의 교차점을 탐색하기 위한 연구 플랫폼 역할을 합니다.
• AI와 댄스에 관심 있는 모든 사람: EDGE는 댄스 영역에서 AI의 창의적인 잠재력을 탐색할 수 있는 접근 가능하고 매력적인 방법을 제공합니다.

EDGE 사용 방법

1. 음악 트랙을 업로드하거나 선택합니다.
2. 관절별 제약 조건을 사용하여 상체에서 하체를 생성하거나 그 반대로 합니다.
3. 모션 인비트위닝을 사용하여 미리 지정된 모션으로 시작하고 끝나는 댄스를 만듭니다.
4. 댄스 연속을 사용하여 미리 지정된 모션으로 시작하는 댄스를 만듭니다.
5. 생성된 댄스 비디오를 다운로드합니다.

EDGE는 AI 기반 댄스 생성 분야에서 중요한 발전을 나타내며 현실적이고 편집 가능한 댄스 안무를 만들기 위한 강력하고 다양한 도구를 제공합니다. 물리적으로 타당한 모션을 생성하는 능력과 유연한 편집 기능을 결합하여 댄서, 안무가, 게임 개발자, 그리고 AI와 댄스의 교차점을 탐색하는 데 관심이 있는 모든 사람에게 귀중한 리소스입니다.