1. 背景描述

为啥要训练这个模型?

这是给一位粉丝朋友有偿训练的,不是我有这个训练的需求。

训练环境是在我自己去年组装的主机中训练的,训练了大概2天时间,大概从7月6号晚上开始,到7月9号下午训练结束。

训练用的显卡是RTX 3090Ti显卡。

2. 训练环境搭建

这是基于开源的F5-TTS项目来训练方言模型,更具体的信息可以去看官方的说明文档,我就是根据官方文档一步步安装的环境。

这里需要注意安装的依赖版本相互冲突问题,我记得安装过程中遇到过几个依赖版本是有问题的,但是没有及时记录,现在训练完之后写的文章,已经忘却了具体搭建过程遇到的问题。总之你按照官方的文档来就可以成功搭建环境。

3. 训练前的数据准备

这个数据是他自己采集的,使用了我使用Java开发的ASR数据集采集系统来采集的,这里给大家下载的ASR数据集采集系统的链接,下载好后部署到服务器或者个人电脑中均可以。

通过网盘分享的文件:ASR数据集采集系统
链接: https://pan.baidu.com/s/1kxQwaQ5sZRI1GcEbJOYP7g 提取码: si2v

这个系统是我有偿给他部署到云服务器中的,如果是部署到个人电脑中,只在本地电脑中使用就无需SSL证书,部署到云服务器中让大家都可以参与录制,就需要生成自己的SSL证书。也就是http协议是不给浏览器调用麦克风权限的,必须是https协议,当然你也可以选择去修改浏览器的规则,但是多人同时在线录制,你自己会修改,不代表别人也会,所以还是要生成自己的SSL,并且配置到nginx中。

4. 注意事项

注意事项1:

训练的时候一定要选择char类型的Tokenizer,因为你训练的是方言,如果你训练的是普通话模型,那么你就选择pinyin类型的Tokenizer

注意事项2:

一定要记得训练之前先生成csv文件,这个可以看官方给的说明,也即是执行源码中的src/f5_tts/train/datasets/prepare_csv_wavs.py并且需要注意这个音频路径必须写为绝对路径,这个官方文档也说了。这个csv格式是audio_file|text这种。

注意事项3:

如果你是要训练模型,一定要记得源码编译方式安装这个f5-tts依赖,不要直接pip install f5-tts。

注意事项4:

由于训练时间长,这个远程的电脑如果长时间不操作会息屏或者自动关机,也就是需要我们使用nohup命令运行,注意运行的是accelerate launch这样的命令,而不是f5-tts_finetune-gradio --port 8000 --host 0.0.0.0

注意事项5:

需要特别注意,这个训练程序,它不会给你删除之前的checkpoint,如果你的空间比较小,一定要记得手动清理一下checkpoint。

5. 效果演示

我录制视频,想要看效果的朋友,可以点击这里跳转到视频。

image-20260710004823205

Q.E.D.


热爱生活,热爱程序