使用 Meta AI Audiocraft 的 MusicGen 文本转音乐

MusicGen 是一项改变游戏规则的突破，它正在改变音乐的生成方式。MusicGen 强大的文本到音乐生成功能使用户能够将基本指令变成有趣的歌曲。

MusicGen 提供了一个简单的界面和各种预训练模型来释放您的创造力，无论您是音乐家、粉丝还是开发者。通过MusicGen，您可以体验音乐创作的未来，踏上无限可能的航程。

什么是 MusicGEN（文字转音乐）

Meta AI 的 Audiocraft 团队创建了 MusicGen，这是一种革命性的文本到音乐生成算法。它采用单级自回归 Transformer 模型，该模型使用 32kHz EnCodec 分词器和四个 50Hz 码本进行训练。MusicGen 与之前的模型不同，它不需要自我监督的语义表示，而是同时创建所有四个码本。通过在代码本之间插入一点延迟，使这种并行预测变得可行，从而导致每秒仅 50 个自动回归音频步骤。

MusicGen提供300M、1.5B、3.3B参数三种尺寸，满足多种需求。300M 参数模型被训练生成文本到音乐，而 1.5B 和 3.3B 参数模型被训练生成旋律引导的音乐。

在使用 MusicGen 之前，用户必须首先构建一个文本输入，范围可以从歌曲名称和旋律到和弦进行。准备好文本输入后，MusicGen 可以创作非凡的音乐作品。

MusicGen 的用户友好界面赋予个人权力，让任何人，无论音乐经验或专业知识如何，都能创作出迷人的音乐。

虽然仍处于开发阶段，但 MusicGen 具有彻底改变音乐创作过程的潜力。它的可用性和简单的设计为音乐爱好者提供了一个充满可能性的世界，使音乐制作成为一种愉快和包容的体验。

MusicGen 的使用（按 Meta）

MusicGen 不仅仅是一个理论概念；它是创作音乐的实际工具。以下是充分利用其强大功能的三种方法：

DEMO：测试演示版本以查看 MusicGen 的功能。它允许您试验基本功能并根据简单的指令生成音乐。这个实践活动将向您介绍 MusicGen 提供的创造性可能性。
COLAB：使用 MusicGen 作为与他人合作的协作工具。无论您是在从事音乐项目还是只是想享受一起制作音乐的乐趣，MusicGen 都可以让这个过程更轻松、更愉快。它促进团队合作并促进团队成员之间的创新。
代码： MusicGen 的开源代码可供具有技术知识的个人使用。您可以进入代码，将其修改为您喜欢的内容，然后创建您自己的交响乐。有了这种级别的适应性，您可以根据自己的音乐品味和喜好对 MusicGen 进行个性化设置。

您可以释放 MusicGen 的潜力，并通过实施它来探索文本到音乐生成的领域。MusicGen 提供了多种选项来释放您的创造力并改变音乐的制作和体验方式，无论您是发烧友、专业音乐家还是开发人员。

怎么运行的

在这篇文章中，我将向您展示拥抱面孔的 MusicGen（文本到音乐）示例。让我们看看进展如何。

首先，访问 MusicGen 的Hugging Face 演示。当您进入该页面时，您会注意到一个标有“描述您的音乐”的文本框提示。在此框中输入 MusicGen 模型的描述或任何特殊说明，以便在制作音乐时遵循。例如，您可以输入“创作一首节奏明快、引人入胜的流行歌曲。“

输入首选提示后，单击“生成”按钮开始音乐生成过程。请耐心等待几秒钟，因为模型会根据您的输入开发音乐。

请务必注意，MusicGen 模型默认生成 12 秒的音乐样本。生成的音乐将反映您提示中提供的特征和说明。

享受使用 MusicGen 创作音乐的过程，并发现它提供的将文本翻译成独特且引人入胜的音乐作品的美妙可能性。

根据您提供的描述，MusicGen 模型会创建 12 秒的音频。您还可以提供一个参考音频文件，从中可以派生出宽广的旋律。该模型将通过添加参考音频来努力遵循描述和给定的旋律，从而产生更好的个性化音乐创作。值得一提的是，旋律模型用于制作所有样本。

如果愿意，您可以按照我们存储库中的说明使用您自己的 GPU。您还可以按照我们存储库中的说明使用 Google Colab，这是一个用于执行 Python 程序的基于云的平台。

MusicGen通过允许自由创作音乐和利用个人 GPU 或基于云的系统（如 Google Colab）的可能性，确保用户可以以满足其特定品味和技术资源的方式访问和利用其功能。

另请阅读：使用 MusicLM 将文本转换为音乐。

MusicGen 用于文本到音乐生成的创新工具

MusicGen 作为一项突破性创新脱颖而出，原因如下：

单一语言模型 (LM)：MusicGen 使用多个压缩的、离散的音乐表示或标记流，将复杂的音乐信号分解为更易于管理的部分。MusicGen 是一种单级变换器语言模型，与需要大量模型或复杂上采样过程的其他技术相反。这种简化的架构消除了不必要的复杂性。
受控输出： MusicGen 不仅仅是生成随机音乐。它允许用户指定文本描述或旋律元素等标准，从而使用户能够控制生成的样本。这种程度的控制允许用户改变歌曲的不同组成部分，例如音调、流派、旋律和乐器。它使设计师能够根据他们选择的创意愿景定制结果。
经验上的成功：广泛的测试，包括自动和人工评估，一直证明 MusicGen 优于既定的文本到音乐标准。简单地说，MusicGen 专注于创作悦耳的音乐。其输出质量优于之前的型号，从而带来更加愉悦和身临其境的音乐体验。
复杂中的简单：尽管面临着艰巨的挑战，但 MusicGen 展示了简单部分的巧妙混合如何产生非凡的结果。由于它的简单性，即使对于那些没有音乐背景的人来说，它也是一个强大的工具。MusicGen 直观的界面和用户友好的设计让音乐家和非音乐家都能创作出动听的歌曲。

MusicGen 因其单一语言模型方法、可控输出、经验成功以及简化复杂性的能力而脱颖而出，成为文本到音乐制作的新工具。它使用户能够制作引人入胜的音乐，同时提供高水平的控制和可用性。

音乐生成API

我们的 MusicGen 产品包括一个简单的 API 和四个针对不同需求量身定制的预训练模型：

小型模型：这个 300M 参数模型主要关注文本到音乐的生成。它提供了一个将文本输入转换为音乐作品的小解决方案。
中型模型：此模型具有 1.5B 参数，专门用于文本到音乐的生成。它实现了输出质量和计算需求的最佳平衡。媒体模型是从文本输入创建音乐的可靠选择。
旋律模型：此模型也使用 1.5B 参数，适用于文本到音乐和文本+旋律到音乐的创作。它允许将旋律元素融入音乐创作过程，为歌曲带来新的创意维度。
大型模型：此模型侧重于使用 3.3B 参数创建文本到音乐。它具有制作复杂音乐作品的最大能力和潜力。

有一个 GPU 在本地使用 MusicGen 很重要。为获得最佳性能，我们建议使用至少 16GB RAM 的 GPU。使用微型模型时，即使是更小的 GPU 也可能会创建短或长的序列。这使您能够灵活地依赖可用的硬件资源。

通过提供简单的API和一系列预训练模型，MusicGen 使用户能够轻松地将文本到音乐的生成融入到他们自己的应用程序或创意项目中。

MusicGen 与 Google MusicLM

MusicGen 和 Google MusicLM 都是人工智能驱动的音乐生成程序，可以根据文本提示生成新音乐。但是，这两种模型之间存在一些重大变化。

训练数据： MusicGen 接受了 20,000 小时的许可音乐训练，而 Google MusicLM 接受了 1.56TB 的音频数据训练，其中包括音乐、语音和其他噪音。这意味着 Google MusicLM 现在可以访问更广泛的数据集，这可能会导致更真实和多样化的音乐制作。
模型尺寸： MusicGen 有四种不同的模型尺寸，但 Google MusicLM 只有一种。可以创建的音乐越复杂，模型尺寸就越大。
速度： MusicGen 比 Google MusicLM 更快，生成一段 12 秒的音乐大约需要 160 秒，而 Google MusicLM 生成一段类似的音乐最多需要 10 分钟。
定价： MusicGen 是免费使用的，而 Google MusicLM 则不是。

Google MusicLM 是一种比 MusicGen 更强大的音乐生成工具，但它也更昂贵且更慢。MusicGen 是想要便宜又快速的音乐生成工具的人的绝佳选择，而 Google MusicLM 是想要功能更强大、更逼真的音乐制作工具的人的不错选择。