问答社区
基于LLM大型语言模型TTS语音生成模型全栈能力，推理、训练和部署三大核心功能
基于LLM（大型语言模型）的TTS语音生成模型全栈能力，可以提供推理、训练和部署三大核心功能。该模型集成了深度学习技术和语音处理技术，能够根据用户需求生成高质量的语音内容。
具体来说，全栈能力包括以下方面：
1. 推理能力：该模型具备强大的推理能力，能够快速响应用户输入，根据用户需求生成相应的语音内容。同时，该模型还可以根据用户输入的文本数据，自动学习并生成相应的语音样本。
2. 训练能力：该模型可以通过训练数据集进行深度学习训练，以提升模型的性能和准确性。训练过程中，可以自动优化模型的参数，提高模型的生成质量。
3. 部署能力：该模型可以部署到各种应用场景中，如智能客服、语音交互系统、智能朗读等。通过API接口或SDK等方式，可以将该模型集成到各种应用中，为用户提供高质量的语音服务。
在训练和部署全栈能力方面，可以采取以下步骤：
* 数据准备：收集高质量的文本数据和语音样本，用于训练和测试该模型。
* 模型训练：使用深度学习框架进行模型训练，优化模型的参数和性能。
* 部署优化：根据应用场景的需求，对模型进行优化和调整，提高模型的效率和稳定性。
在实现过程中，可以采取以下技术手段：
* 使用先进的深度学习技术和语音处理技术，实现高质量的语音生成。
* 使用高性能的硬件设备和软件工具，提高模型的生成速度和准确性。
* 采用分布式训练和云计算等技术，提高模型的训练效率和部署效率。
总之，基于LLM的TTS语音生成模型全栈能力可以为各种应用场景提供高质量的语音服务，具有广泛的应用前景。
克隆并安装
- 克隆仓库
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
# If you failed to clone submodule due to network failures, please run following command until success
cd CosyVoice
git submodule update --init --recursive
- 安装 Conda：请参阅https://docs.conda.io/en/latest/miniconda.html
- 创建 Conda 环境：
conda create -n cosyvoice python=3.8
conda activate cosyvoice
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
# If you encounter sox compatibility issues
# ubuntu
sudo apt-get install sox libsox-dev
# centos
sudo yum install sox sox-devel
模型下载
我们强烈建议您下载我们的预训练CosyVoice-300M CosyVoice-300M-SFT CosyVoice-300M-Instruct模型和speech_kantts_ttsfrd资源。
如果您是该领域的专家，并且只对从头开始训练自己的 CosyVoice 模型感兴趣，那么您可以跳过此步骤。
# SDK模型下载
from modelscope import snapshot_download
snapshot_download('iic/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')
snapshot_download('iic/CosyVoice-300M-SFT', local_dir='pretrained_models/CosyVoice-300M-SFT')
snapshot_download('iic/CosyVoice-300M-Instruct', local_dir='pretrained_models/CosyVoice-300M-Instruct')
snapshot_download('speech_tts/speech_kantts_ttsfrd', local_dir='pretrained_models/speech_kantts_ttsfrd')
# git模型下载，请确保已安装git lfs
mkdir -p pretrained_models
git clone https://www.modelscope.cn/iic/CosyVoice-300M.git pretrained_models/CosyVoice-300M
git clone https://www.modelscope.cn/iic/CosyVoice-300M-SFT.git pretrained_models/CosyVoice-300M-SFT
git clone https://www.modelscope.cn/iic/CosyVoice-300M-Instruct.git pretrained_models/CosyVoice-300M-Instruct
git clone https://www.modelscope.cn/speech_tts/speech_kantts_ttsfrd.git pretrained_models/speech_kantts_ttsfrd
解压ttsfrd资源并安装ttsfrd包
cd pretrained_models/speech_kantts_ttsfrd/
unzip resource.zip -d .
pip install ttsfrd-0.3.6-cp38-cp38-linux_x86_64.whl
基本用法
对于零样本/跨语言推理，请使用CosyVoice-300M模型。对于 sft 推理，请使用CosyVoice-300M-SFT模型。对于指令推理，请使用CosyVoice-300M-Instruct模型。首先，将third_party/AcademiCodec和添加third_party/Matcha-TTS到您的PYTHONPATH。
export PYTHONPATH=third_party/AcademiCodec:third_party/Matcha-TTS
from cosyvoice.cli.cosyvoice import CosyVoice
from cosyvoice.utils.file_utils import load_wav
import torchaudio
cosyvoice = CosyVoice('speech_tts/CosyVoice-300M-SFT')
# sft usage
print(cosyvoice.list_avaliable_spks())
output = cosyvoice.inference_sft('你好，我是通义生成式语音大模型，请问有什么可以帮您的吗？', '中文女')
torchaudio.save('sft.wav', output['tts_speech'], 22050)
cosyvoice = CosyVoice('speech_tts/CosyVoice-300M')
# zero_shot usage
prompt_speech_16k = load_wav('zero_shot_prompt.wav', 16000)
output = cosyvoice.inference_zero_shot('收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。', '希望你以后能够做的比我还好呦。', prompt_speech_16k)
torchaudio.save('zero_shot.wav', output['tts_speech'], 22050)
# cross_lingual usage
prompt_speech_16k = load_wav('cross_lingual_prompt.wav', 16000)
output = cosyvoice.inference_cross_lingual('<|en|>And then later on, fully acquiring that company. So keeping management in line, interest in line with the asset that\'s coming into the family is a reason why sometimes we don\'t buy the whole thing.', prompt_speech_16k)
torchaudio.save('cross_lingual.wav', output['tts_speech'], 22050)
cosyvoice = CosyVoice('speech_tts/CosyVoice-300M-Instruct')
# instruct usage
output = cosyvoice.inference_instruct('在面对挑战时，他展现了非凡的<strong>勇气</strong>与<strong>智慧</strong>。', '中文男', 'Theo \'Crimson\', is a fiery, passionate rebel leader. Fights with fervor for justice, but struggles with impulsiveness.')
torchaudio.save('instruct.wav', output['tts_speech'], 22050)
开始网页演示
您可以使用我们的网页演示页面快速熟悉 CosyVoice。我们在网页演示中支持 sft/zero_shot/cross_lingual/instruct 推理。
详细信息请参阅演示网站。
# change speech_tts/CosyVoice-300M-SFT for sft inference, or speech_tts/CosyVoice-300M-Instruct for instruct inference
python3 webui.py --port 50000 --model_dir speech_tts/CosyVoice-300M
高级用法
对于高级用户，我们在 中提供了训练和推理脚本examples/libritts/cosyvoice/run.sh。您可以按照此方法熟悉 CosyVoice。
为部署而构建
或者，如果您想使用 grpc 进行服务部署，您可以运行以下步骤。否则，您可以忽略此步骤。
cd runtime/python
docker build -t cosyvoice:v1.0 .
# change speech_tts/CosyVoice-300M to speech_tts/CosyVoice-300M-Instruct if you want to use instruct inference
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python && python3 server.py --port 50000 --max_conc 4 --model_dir speech_tts/CosyVoice-300M && sleep infinity"
python3 client.py --port 50000 --mode <sft|zero_shot|cross_lingual|instruct>
