工具分享

​ MusicGen一款基于Transformer模型的AI音乐生成器，可以将文本描述转化为12秒的音频。

特点

使用Meta的encodec音频分词器将音频数据分解成较小的部分，然后预测音乐片段的下一个部分，类似于语言模型预测短语中的下一个字母。它可以同时处理文本和音乐提示，具有快速高效的单阶段处理能力。

部署

• 安装项目

  pip install 'torch>=2.0'
  git clone https://github.com/facebookresearch/audiocraft.git
  cd audiocraft
  pip install -e .  # or if you cloned the repo locally
  

• 下载预训练模型

small: 300M model, text to music only

medium: 1.5B model, text to music only

melody: 1.5B model, text to music and text+melody to music(文本加指定的旋律)

large: 3.3B model, text to music only

• 运行MusicGen

  python app.py
  

平台

官方demo
在线测试

声明

本文仅作为工具分享记录。

本文与HBlog保持同步。