前言

​ 本文简单记录介绍一下VITS-fast-fine-tuning。

​ VITS-fast-fine-tuning是一个VITS的微调训练库，可以快速克隆出想要的角色声音。

正文

一、什么是VITS-fast-fine-tuning

快速克隆音频中角色的声音。

二、VITS-fast-fine-tuning功能

• 在模型所包含的任意两个角色之间进行声线转换；

• 对自定义角色声线进行中日英三语TTS。

• 支持多种方式微调：

  • 从10条以上的短音频克隆角色声音
  • 从3分钟以上的长音频克隆角色声音（单个音频只能包含单说话人）
  • 从3分钟以上的视频克隆角色声音（单个视频只能包含单说话人）
  • 通过输入bilibili视频链接克隆角色声音

三、VITS-fast-fine-tuning使用与训练

微调自定义角色

• 制作数据

• 使用Google Colab在线训练

• 或者本地训练，查看教程,需要Cuda相关依赖，下载项目代码和预训练模型，比较麻烦，直接用Colab训练简单

使用与推理

0. 下载微调好的模型和config文件

1. 下载最新的Release包（在Github页面的右侧）；

2. 把下载的模型和config文件放在 inference文件夹下, 其文件名分别为 G_latest.pth 和 finetune_speaker.json；

3. 一切准备就绪后，文件结构应该如下所示:

inference
├───inference.exe
├───...
├───finetune_speaker.json
└───G_latest.pth

4. 运行 inference.exe, 浏览器会自动弹出窗口, 注意其所在路径不能有中文字符或者空格；

5. 请注意，声线转换功能需要安装ffmpeg才能正常使用。

四、总结

项目降低了微调自定义角色声音的难度，对于微调好的模型也提供了打包好的程序直接调用，非常易用。

最后

参考文章：

官方项目

声明

本文仅作为个人学习记录。

本文与HBlog保持同步。