1. 尊重版权,请使用授权数据进行ai训练
2. 基础概念
2.0. 本专栏旨在帮助快速了解diffsvc,想更深入学习可查阅文中相关教程&项目链接。
(资料图)
2.1. tts:即Text To Speech,从文本直接合成语音,如:Vits、Tacotron2
2.2. svc:即Singing voice conversion,在保证歌唱内容的同时,将音色从输入源转换到目标音色,可理解为变声器,如:sovits、diff-svc
2.3. svs:即Singing voice synthesis,是用于基于包括例如歌词、节奏、音高等信息的乐谱来生成虚拟歌声的技术,如:vocaloid、sv、diffsinger等
3. diff-svc应用示例
将他人录制的歌曲干声输入svc模型,可获得模型音色的输出、同时保留源数据的音高音准
4. 优势
4.0. 项目开源,代码、模型完全本地自主化,可低成本自行制作变声器
4.1. diffsvc使用扩散模型,适用于高质量的人声数据(声卡直出、无底噪混响)、还原度高
4.2. sovits3.0对低质量数据适应性好(少量噪音、混响、缺频),推理速度快;链接位于文末
5. 自制教程
5.1. 请使用授权数据训练,切勿给他人带来不必要的困扰!
5.2. 语雀教程
https://www.yuque.com/shaohuojie/ocfmc1
5.3. 对应代码
https://github.com/openvpi/diff-svc
svc讨论群:588056461
6. 原理
篇幅有限,详见:
https://github.com/openvpi/diff-svc/blob/main/doc/advanced_skills.markdown
7. 发展历程
7.1. prophesier将soft-vc与openvpi维护版的diffsinger相结合,发布了svc项目,作为长期稳定版
https://github.com/prophesier/diff-svc
7.2. openvpi维护的修改版,简化制作流程、增加新功能与教程
https://github.com/openvpi/diff-svc
7.3. 白叶开发的多种模型推理gui
8. 相关链接
8.1. tts:CjangCjengh维护的多语种vits,包括多种方言
https://github.com/CjangCjengh/vits
8.2. svc:Rcell开发的sovits3.0
https://github.com/innnky/so-vits-svc
8.3. svc:花儿不哭开发的变声器,暂未开源
8.4. svs:openvpi维护的diffsinger
https://github.com/openvpi/DiffSinger