MusicLM

MusicLM：テキストから音楽を生成する

MusicLMは、Google Researchが開発した、テキスト記述から高忠実度の音楽を生成するAIモデルです。条件付き音楽生成を、階層的なシーケンス・ツー・シーケンスのモデリングタスクとして捉えています。これにより、数分間にわたって一貫性を維持する24 kHzの音楽を生成できます。

MusicLMとは？

MusicLMは、テキスト記述から音楽を作成するように設計された最先端のAIモデルです。これまでのシステムとは異なり、MusicLMはオーディオ品質と、与えられたテキスト記述に厳密に従う能力の両方に優れています。たとえば、「歪んだギターリフに裏打ちされた穏やかなバイオリンのメロディー」というテキストのみに基づいて、それを生成できます。

MusicLMはどのように機能するのですか？

MusicLMは、音楽生成を階層的なシーケンス・ツー・シーケンスのモデリング問題として捉えることによって機能します。このアプローチにより、モデルは高忠実度24 kHzで、長くて一貫性のある楽曲を生成できます。モデルはテキストとメロディーの両方に基づいて条件付けすることもでき、口笛やハミングされたメロディーをテキストキャプションで説明されているさまざまなスタイルに変換できます。

主な機能と能力

• 高忠実度音楽生成： 24 kHzで音楽を生成し、高音質を保証します。
• テキストから音楽への変換： 特定の楽器の組み合わせやジャンルなど、テキスト記述から音楽を作成します。
• メロディーの条件付け： ハミングまたは口笛のメロディーを、テキストキャプションに基づいてさまざまなスタイルに変換します。
• 長い生成： 数分間にわたって音楽の一貫性を維持します。

使用例

• サウンドトラックの作成： テキスト記述に基づいて、ゲーム、ビデオ、またはその他のメディアのサウンドトラックを生成します。
• 作曲： 音楽家や作曲家が新しい楽曲を作成するのを支援します。
• パーソナライズされた音楽生成： テキストで記述された個人の好みに合わせた音楽を作成します。
• 創造的な探索： テキストプロンプトを通じて、さまざまな音楽スタイルと組み合わせを探索します。

リッチキャプションからのオーディオ生成の例

• アーケードゲームのサウンドトラック： キャッチーなエレキギターのリフ、反復的なメロディー、予期しないシンバルのクラッシュ、ドラムロールを備えた、テンポの速い、アップビートなトラックを生成します。
• スペーシーなレゲトンフュージョン： レゲトンとエレクトロニックダンスミュージックの融合を作成し、異世界のようなサウンドで、驚きとダンスの感覚を呼び起こします。
• 心地よいシンセの盛り上がり： 上昇するシンセアルペジオ、パッド、サブベースライン、ソフトドラムを備えたトラックを生成し、フェスティバルに適した心地よく冒険的な雰囲気を作り出します。
• リラックスしたレゲエソング： スローテンポ、ベースとドラムが主導するレゲエソングを、持続的なエレキギター、高音のボンゴ、リラックスした表現力豊かなボーカルで生成します。

ストーリーモード

MusicLMは、一連のテキストプロンプトに基づいて音楽を生成し、モデルが前のキャプションから派生したセマンティックトークンをどのように継続するかに影響を与えます。たとえば、さまざまなセクションを含む音楽のストーリーを作成できます。

• 瞑想の時間（0:00-0:15）： 静かで平和な紹介。
• 起床時間（0:15-0:30）： よりエネルギッシュで高揚感のあるセグメント。
• ランニングの時間（0:30-0:45）： テンポが速くリズミカルなセクション。
• 100％の時間を与える（0:45-0:60）： 強烈でやる気を起こさせる結論。

テキストとメロディーの条件付け

MusicLMは、与えられたテキストプロンプトを尊重しながら、提供されたメロディーに従う音楽を生成できます。例としては、ハミングまたは口笛のメロディーを、アカペラコーラス、エレクトロニックシンセリード、ギターソロ、サックスをフィーチャーしたジャズなど、さまざまなスタイルに変換することが挙げられます。

絵画キャプションの条件付け

MusicLMは、絵画の記述に触発された音楽を生成し、アートワークの視覚的および感情的なコンテンツを反映するサウンドスケープを作成できます。例としては、次のものがあります。

• 記憶の固執 - サルバドール・ダリ： 絵画のシュールで夢のような雰囲気を捉えた音楽を生成します。
• アルプスを越えるナポレオン - ジャック＝ルイ・ダヴィッド： 雄大で英雄的な楽曲を作成します。
• ダンス - アンリ・マティス： 楽しくリズミカルな作曲を制作します。
• 叫び - エドヴァルド・ムンク： 不安で落ち着かないサウンドスケープを生成します。

データセット

今後の研究をサポートするために、MusicLMチームは、人間の専門家によって提供された豊富なテキスト記述を含む、5.5kの音楽テキストペアで構成されるデータセットMusicCapsを公開しました。

MusicLMは誰のためのものですか？

MusicLMは、以下を目的として設計されています。

• 音楽を作成するための新しいツールを探しているミュージシャンと作曲家。
• カスタムサウンドトラックを必要とするゲーム開発者と映画製作者。
• テキストから音楽への生成を探索するAI研究者。
• AIと音楽の交差点を探求することに興味がある人。

MusicLMを選ぶ理由

MusicLMは、その点で際立っています。

• 高忠実度のオーディオ生成。
• 詳細なテキスト記述を遵守する能力。
• メロディーをさまざまなスタイルに変換する能力。
• 長くて一貫性のある楽曲のサポート。

MusicLMは、テキスト記述から高品質の音楽を生成するための強力なツールであり、ミュージシャン、開発者、研究者にとって幅広い創造的な可能性を提供します。