TTS 语音克隆

Question

我使用了coqui的开源存储库来构建语音克隆模型。它利用使用 LJSpeech 数据集训练的不同 tts_model。我使用多语言模型来使用我提供的示例。但是，我一直收到此错误：

ValueError：[！] 看起来您使用了多语言模型。您需要定义

language_name

或

style_wav

才能使用多语言模型。

我为此使用了 Google colab 的虚拟环境，因为 Coqui 是为 Linux 开发的。

这是我的代码：

!git clone https://github.com/coqui-ai/TTS
!pip install TTS
!sudo apt-get install espeak-ng
!pip install IPython

from google.colab import drive
drive.mount('/content/drive')

import os
os.chdir('/content/drive/MyDrive/TTS')

!cd TTS

!ls

!tts --list_models

!python -c 'from TTS.utils.downloaders import download_ljspeech; download_ljspeech("/content/drive/MyDrive/TTS/recipes/ljspeech/");'

!tts --text "The economy suffered a great deal." \
    --model_name "tts_models/multilingual/multi-dataset/your_tts" --speaker_wav "/content/drive/MyDrive/TTS/recipes/ljspeech/LJSpeech-1.1/Sample.wav"  --out_path /content/drive/MyDrive/TTS/output.wav

from IPython.display import Audio
display(Audio('/content/drive/MyDrive/TTS/output.wav'))

Answer 1

添加： --language_idx="zh-cn"

Answer 2

当我使用十一实验室API时，无法完美添加语音。当我合成视频某些特定部分的声音，然后修改该部分的文本后合并该特定部分时，它可以工作，但并不完美，然后它无法正常工作，原始音频的声音很好，克隆文本的声音很糟糕听不见为什么？