EDGE

EDGE：音楽から編集可能な AI ダンス生成

EDGE は、音楽からダンスの振り付けを生成および編集できる最先端の AI ツールです。Transformer ベースの拡散モデルと、強力な音楽フィーチャー抽出器である Jukebox を組み合わせることで、リアルで物理的に妥当なダンスを作成します。このテクノロジーは、ダンサー、振付師、ゲーム開発者、そして AI とダンスの交差点を探求することに興味のあるすべての人に、新たな可能性を開きます。

EDGE とは？

EDGE は、現実的で物理的に妥当なダンスを作成しながら、任意の入力音楽に忠実であり続けることができる、編集可能なダンス生成のための手法です。これは、Transformer ベースの拡散モデルに基づいて構築されており、音楽フィーチャー抽出には Jukebox を利用しています。この組み合わせにより、強力な編集機能が可能になり、ダンスアプリケーションに最適です。

EDGE はどのように機能しますか？

1. 音楽埋め込み： EDGE は、事前トレーニング済みの Jukebox モデルを使用して、入力音楽を埋め込みにエンコードし、音楽のニュアンスと特徴を捉えます。
2. 条件付き拡散モデル： 条件付き拡散モデルは、音楽埋め込みを 5 秒間のダンスクリップのシリーズにマッピングすることを学習します。このモデルは、ダンスモーションのデータセットでトレーニングされており、リアルで多様なダンスシーケンスを生成できます。
3. 時間的制約： 推論時には、時間的な一貫性を強制するために、複数のクリップのバッチに時間的制約が適用されます。これにより、生成されたダンスが時間の経過とともにスムーズかつ自然に流れるようになります。
4. ステッチング： 時間的に一貫性のあるクリップは、任意の長さの完全なビデオを作成するためにステッチングされます。これにより、ユーザーは入力音楽の長さに一致するダンスを生成できます。

主な機能と能力

• ジョイントごとの条件付け： EDGE を使用すると、ユーザーは特定の体の関節の動きを制御できるため、ターゲットを絞った編集とカスタマイズが可能になります。たとえば、ユーザーは上半身の動きに基づいて下半身の動きを生成したり、その逆も可能です。
• モーション・イン・ビトゥイーン： この機能を使用すると、ユーザーはダンスの開始モーションと終了モーションを指定でき、EDGE は自動的に中間モーションを生成して、シームレスなトランジションを作成します。
• ダンスの継続： ユーザーは初期ダンスシーケンスを提供でき、EDGE は元のモーションをシームレスに拡張する継続を生成します。
• 任意の長さのダンス： EDGE は、複数のシーケンスのバッチ間の時間的連続性を強制することにより、任意の長さのダンスを生成できます。
• 物理的な妥当性： EDGE は、物理的なリアリズムを念頭に置いてトレーニングされており、意図しない足の滑りを回避し、生成されたダンスが現実的な生体力学的原理に準拠していることを保証します。接触一貫性損失により、足が滑るべきでないことが保証され、滑りを維持しながら物理的なリアリズムが大幅に向上します。

EDGE を選ぶ理由

EDGE は、リアリズム、物理的な妥当性、および編集可能性の点で既存の方法よりも優れています。人間の評価者は、Bailando や FACT などの以前の作品よりも、EDGE によって生成されたダンスを強く好みます。

EDGE は誰のためのものですか？

• ダンサーと振付師： EDGE は、新しいダンスのアイデアを探求したり、既存の振り付けのバリエーションを生成したり、特定の楽曲のカスタムダンスを作成したりするためのツールとして使用できます。
• ゲーム開発者： EDGE は、ビデオゲームのキャラクターにリアルで多様なダンスアニメーションを生成するために使用できます。
• AI 研究者： EDGE は、AI とダンスの交差点を探求するための研究プラットフォームとして機能します。
• AI とダンスに興味のあるすべての人： EDGE は、ダンスの領域における AI の創造的な可能性を探求するためのアクセス可能で魅力的な方法を提供します。

EDGE の使用方法

1. 音楽トラックをアップロードまたは選択します。
2. ジョイントごとの制約を使用して、上半身から下半身を生成したり、その逆も可能です。
3. モーション・イン・ビトゥイーンを使用して、事前に指定されたモーションで開始および終了するダンスを作成します。
4. ダンスの継続を使用して、事前に指定されたモーションで開始するダンスを作成します。
5. 生成されたダンスビデオをダウンロードします。

EDGE は、AI 主導のダンス生成の分野における大きな進歩を表しており、リアルで編集可能なダンスの振り付けを作成するための強力で用途の広いツールを提供します。物理的に妥当なモーションを生成する能力と、柔軟な編集機能を組み合わせることで、ダンサー、振付師、ゲーム開発者、そして AI とダンスの交差点を探求することに興味のあるすべての人にとって貴重なリソースとなっています。