EDGE

EDGE：基于音乐的可编辑 AI 舞蹈生成

EDGE 是一款前沿的 AI 工具，允许用户从音乐生成和编辑舞蹈编排。它利用基于 Transformer 的扩散模型与强大的音乐特征提取器 Jukebox 相结合，以创建逼真且物理上可信的舞蹈。这项技术为舞者、编舞、游戏开发者以及任何对探索 AI 和舞蹈交叉领域感兴趣的人开辟了新的可能性。

什么是 EDGE？

EDGE 是一种可编辑的舞蹈生成方法，能够创建逼真、物理上可信的舞蹈，同时保持对任意输入音乐的忠实度。它建立在基于 Transformer 的扩散模型之上，并利用 Jukebox 进行音乐特征提取。这种组合实现了强大的编辑功能，使其非常适合舞蹈应用。

EDGE 如何工作？

1. 音乐嵌入： EDGE 使用预训练的 Jukebox 模型将输入音乐编码为嵌入，从而捕捉音乐的细微差别和特征。
2. 条件扩散模型： 条件扩散模型学习将音乐嵌入映射到一系列 5 秒的舞蹈片段。该模型在舞蹈动作的数据集上进行训练，使其能够生成逼真且多样化的舞蹈序列。
3. 时间约束： 在推理时，时间约束应用于多个片段的批次，以强制执行时间一致性。这确保了生成的舞蹈随着时间的推移平稳自然地流动。
4. 拼接： 然后将时间上一致的片段拼接在一起，以创建任意长度的完整视频。这允许用户生成与输入音乐时长相匹配的舞蹈。

主要特点和功能

• 关节式调节： EDGE 允许用户控制特定身体关节的运动，从而实现有针对性的编辑和自定义。例如，用户可以根据上半身运动生成下半身运动，反之亦然。
• 运动插值： 此功能允许用户指定舞蹈的开始和结束动作，EDGE 将自动生成中间动作以创建无缝过渡。
• 舞蹈延续： 用户可以提供初始舞蹈序列，EDGE 将生成一个延续，无缝地扩展原始动作。
• 任意长度的舞蹈： EDGE 可以通过强制执行多个序列批次之间的时间连续性来生成任意长度的舞蹈。
• 物理可信度： EDGE 在训练时考虑了物理真实感，避免了意外的脚部滑动，并确保生成的舞蹈符合真实的生物力学原理。接触一致性损失确保脚应该且不应该滑动，这在保持滑动的同时显着提高了物理真实感。

为什么选择 EDGE？

在真实感、物理可信度和可编辑性方面，EDGE 优于现有方法。与之前 Bailando 和 FACT 等作品相比，人类评估者更喜欢 EDGE 生成的舞蹈。

EDGE 适合哪些人？

• 舞者和编舞： EDGE 可用作探索新舞蹈创意、生成现有编舞的变体或为特定音乐作品创建自定义舞蹈的工具。
• 游戏开发者： EDGE 可用于为视频游戏角色生成逼真且多样化的舞蹈动画。
• AI 研究人员： EDGE 可作为探索 AI 和舞蹈交叉领域的研究平台。
• 任何对 AI 和舞蹈感兴趣的人： EDGE 提供了一种易于访问且引人入胜的方式来探索 AI 在舞蹈领域的创造潜力。

如何使用 EDGE？

1. 上传或选择音乐曲目。
2. 使用关节式约束从上半身生成下半身，反之亦然。
3. 使用运动插值创建以预先指定的动作开始和结束的舞蹈。
4. 使用舞蹈延续创建以预先指定的动作开始的舞蹈。
5. 下载生成的舞蹈视频。

EDGE 代表了 AI 驱动的舞蹈生成领域的重大进步，它提供了一个强大而通用的工具，用于创建逼真且可编辑的舞蹈编排。它生成物理上可信的运动的能力，加上其灵活的编辑功能，使其成为舞者、编舞、游戏开发者以及任何对探索 AI 和舞蹈交叉领域感兴趣的人的宝贵资源。