MusicLM

MusicLM：从文本生成音乐

MusicLM 是 Google Research 开发的一种 AI 模型，可以从文本描述中生成高保真音乐。它将条件音乐生成视为一种分层序列到序列的建模任务。这使其能够生成 24 kHz 的音乐，并在几分钟内保持一致性。

什么是 MusicLM？

MusicLM 是一种先进的 AI 模型，旨在根据文本描述创建音乐。与之前的系统不同，MusicLM 在音频质量及其严格遵守给定文本描述的能力方面表现出色。例如，它可以仅根据文本生成“由失真吉他即兴演奏支持的平静小提琴旋律”。

MusicLM 是如何工作的？

MusicLM 通过将音乐生成构建为分层序列到序列的建模问题来工作。这种方法使模型能够以高保真 24 kHz 生成长的、连贯的音乐片段。该模型还可以根据文本和旋律进行调节，使其能够将口哨或哼唱的旋律转换为文本标题中描述的各种风格。

主要特点和功能

• 高保真音乐生成： 以 24 kHz 生成音乐，确保高音频质量。
• 文本到音乐转换： 根据文本描述（例如特定的乐器组合或流派）创建音乐。
• 旋律调节： 根据文本标题将哼唱或口哨旋律转换为不同的风格。
• 长时生成： 在几分钟内保持音乐一致性。

用例

• 音轨创建： 根据文本描述为游戏、视频或其他媒体生成音轨。
• 音乐创作： 协助音乐家和作曲家创作新的音乐作品。
• 个性化音乐生成： 创建根据文本描述的个人喜好量身定制的音乐。
• 创意探索： 通过文本提示探索不同的音乐风格和组合。

从丰富的标题生成音频的示例

• 街机游戏音轨： 生成一个快节奏、欢快的曲目，其中包含引人入胜的电吉他 riff、重复的旋律以及意想不到的钹撞击和鼓声。
• 太空雷鬼融合： 创建雷鬼音乐和电子舞曲的融合，具有超凡脱俗的声音，唤起一种奇妙和舞蹈的感觉。
• 舒缓的合成器构建： 产生一个具有上升合成器琶音、柔和音垫、低音线条和柔和鼓声的音轨，营造出适合节日的舒缓和冒险氛围。
• 轻松的雷鬼歌曲： 生成一首慢节奏、以贝斯和鼓为主导的雷鬼歌曲，带有持续的电吉他、高音邦戈鼓和轻松、富有表现力的歌声。

故事模式

MusicLM 可以根据一系列文本提示生成音乐，从而影响模型如何继续从先前标题派生的语义标记。例如，它可以创建一个包含不同部分的音乐故事：

• 冥想时间 (0:00-0:15)： 平静祥和的介绍。
• 起床时间 (0:15-0:30)： 更加充满活力和令人振奋的部分。
• 跑步时间 (0:30-0:45)： 快节奏和有节奏的部分。
• 全力以赴时间 (0:45-0:60)： 紧张而鼓舞人心的结论。

文本和旋律调节

MusicLM 可以生成尊重给定文本提示同时遵循提供的旋律的音乐。示例包括将哼唱或口哨旋律转换为不同的风格，例如无伴奏合唱、电子合成器主音、吉他独奏、带萨克斯管的爵士乐等。

绘画标题调节

MusicLM 可以生成受绘画描述启发的音乐，创造反映艺术品视觉和情感内容的音景。示例包括：

• 记忆的永恒 - 萨尔瓦多·达利： 生成捕捉绘画超现实和梦幻氛围的音乐。
• 拿破仑穿越阿尔卑斯山 - 雅克-路易·大卫： 创作一首雄伟而英雄的音乐作品。
• 舞蹈 - 亨利·马蒂斯： 创作一首欢乐而有节奏的乐曲。
• 呐喊 - 爱德华·蒙克： 产生一种令人不安和令人不安的音景。

数据集

为了支持未来的研究，MusicLM 团队公开发布了 MusicCaps，这是一个由 5.5k 个音乐文本对组成的数据集，其中包含人类专家提供的丰富的文本描述。

MusicLM 适合谁？

MusicLM 专为以下人群设计：

• 寻求创建音乐的新工具的音乐家和作曲家。
• 需要定制音轨的游戏开发商和电影制作人。
• 探索文本到音乐生成的 AI 研究人员。
• 任何有兴趣探索 AI 和音乐交叉领域的人。

为什么选择 MusicLM？

MusicLM 的突出之处在于：

• 高保真音频生成。
• 能够遵守详细的文本描述。
• 能够将旋律转换为各种风格。
• 支持长时间且一致的音乐片段。

MusicLM 是一款强大的工具，可以从文本描述生成高质量的音乐，为音乐家、开发人员和研究人员提供广泛的创作可能性。