且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

更新时间:2022-03-25 01:40:25

Python 深度学习AI - 声音克隆、声音模拟

第一章:环境准备与安装

① Real-Time-Voice-Cloning 项目源码下载

获取地址:

github 官方

小蓝枣的 csdn 资源仓库

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

② requirments 必要库安装

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

清单如下:

umap-learn

visdom

librosa>=0.8.0

matplotlib>=3.3.0

numpy==1.19.3; platform_system == “Windows”

numpy==1.19.4; platform_system != “Windows”

scipy>=1.0.0

tqdm

sounddevice

SoundFile

Unidecode

inflect

PyQt5

multiprocess

numba

webrtcvad; platform_system != “Windows”

使用命令 pip install -r requirements.txt 进行安装。

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

③ TensorFlow 安装

TensorFlow 官方网站

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

④ PyTorch 安装

PyTorch 官方网站

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

安装命令:pip install torch==1.8.0+cpu torchvision==0.9.0+cpu torchaudio==0.8.0 -f https://download.pytorch.org/whl/torch_stable.html

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

⑤ FFmpeg 下载环境变量配置

github 官方

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

环境变量配置:

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

⑥ 下载训练包

获取地址:

github 官方Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

将训练包直接解压到项目根目录下。

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

第二章:效果测试

① 命令行合成音频测试:输入音频源和文本,合成目标

由于官方提供的训练库是英文版的,所以如果音频源是中文,或者合成中文内容效果不是很好,大家有兴趣的可以找一些中文训练包来进行测试。

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

这是项目里给的声音源示例,可以用这个来进行测试。

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

合成后的音频文件。

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

② 工具箱合成音频测试,工具箱的使用方法介绍

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

分析后黑色部分合成的不是很好,可以重新再分析一下,每次分析的效果都是不一样的。

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

③ 特朗普声音克隆,模拟特朗普讲话,特朗普唱《See You Again》

特朗普音频资源获取:

小蓝枣的 csdn 资源仓库

这是歌曲 《We Cant’t Stop》,合成的效果还不错,有的歌涉及断句的,给它加个回车断一下效果会更好,有层次感。

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

这是歌曲 《See You Again》,合成的效果也还行。

Python 深度学习AI - 声音克隆、声音模仿、模拟特朗普声音唱《See You Again》,Real-Time-Voice-Cloning项目的安装与使用

喜欢的点个赞❤吧!