ChatTTS
立即使用
ChatTTS是什么
ChatTTS是一個(gè)開(kāi)源的專(zhuān)為對(duì)話(huà)場(chǎng)景設(shè)計(jì)的文本轉(zhuǎn)語(yǔ)音（Text-to-Speech, TTS）生成模型，它主要用于大型語(yǔ)言模型（LLM）助手的對(duì)話(huà)任務(wù)、對(duì)話(huà)式語(yǔ)音和視頻介紹等應(yīng)用。ChatTTS模型支持中文和英文兩種語(yǔ)言，并且經(jīng)過(guò)了超過(guò)10萬(wàn)小時(shí)的中英文數(shù)據(jù)訓(xùn)練，ChatTTS在語(yǔ)音合成中表現(xiàn)出高質(zhì)量和自然度。
ChatTTS的設(shè)計(jì)重點(diǎn)在于優(yōu)化對(duì)話(huà)式任務(wù)，實(shí)現(xiàn)自然流暢的語(yǔ)音合成，這使得ChatTTS在生成對(duì)話(huà)語(yǔ)音時(shí)表現(xiàn)出色，能夠預(yù)測(cè)和控制細(xì)粒度的韻律特征，如笑聲、停頓和插入詞，從而提供超越大部分開(kāi)源TTS模型的韻律表現(xiàn)。此外，ChatTTS還支持多說(shuō)話(huà)人向量，這增加了其在不同對(duì)話(huà)場(chǎng)景中的適用性。
ChatTTS 功能特性
?? 多語(yǔ)言支持
ChatTTS 的一個(gè)關(guān)鍵特性是支持多種語(yǔ)言，包括英語(yǔ)和中文。這使其能夠?yàn)閺V泛用戶(hù)群提供服務(wù)，并克服語(yǔ)言障礙。
?? 大規(guī)模數(shù)據(jù)訓(xùn)練
ChatTTS 使用了大量數(shù)據(jù)進(jìn)行訓(xùn)練，大約有1000萬(wàn)小時(shí)的中文和英文數(shù)據(jù)。這樣的大規(guī)模訓(xùn)練使其聲音合成質(zhì)量高，聽(tīng)起來(lái)自然。
?? 對(duì)話(huà)任務(wù)兼容性
ChatTTS 很適合處理通常分配給大型語(yǔ)言模型LLMs的對(duì)話(huà)任務(wù)。它可以為對(duì)話(huà)生成響應(yīng)，并在集成到各種應(yīng)用和服務(wù)時(shí)提供更自然流暢的互動(dòng)體驗(yàn)。
?? 開(kāi)源計(jì)劃
ChatTTS項(xiàng)目團(tuán)隊(duì)計(jì)劃開(kāi)源一個(gè)經(jīng)過(guò)訓(xùn)練的基礎(chǔ)模型。這將使學(xué)術(shù)研究人員和社區(qū)開(kāi)發(fā)人員能夠進(jìn)一步研究和發(fā)展這項(xiàng)技術(shù)。
?? 控制和安全性
ChatTTS團(tuán)隊(duì)致力于提高模型的可控性，添加水印，并將其與LLMs集成。這些努力確保了模型的安全性和可靠性。
?? 易用性
ChatTTS 為用戶(hù)提供了易于使用的體驗(yàn)。它只需要文本信息作為輸入，就可以生成相應(yīng)的語(yǔ)音文件。這樣的簡(jiǎn)單性使其方便有語(yǔ)音合成需求的用戶(hù)。
ChatTTS 如何使用
一、在線(xiàn)免費(fèi)使用ChatTTS
ChatTTS提供了一個(gè)web網(wǎng)頁(yè)端在線(xiàn)免費(fèi)試用版本，訪(fǎng)問(wèn)ChatTTS官網(wǎng)，無(wú)需注冊(cè)登錄即可在線(xiàn)免費(fèi)試用體驗(yàn)。
- ChatTTS官網(wǎng)：https://chattts.com/
ChatTTS在線(xiàn)免費(fèi)試用目前不限次數(shù)，在文本框中輸入需要轉(zhuǎn)語(yǔ)音的文字，設(shè)置好相應(yīng)參數(shù)點(diǎn)擊生成即可，生成的音頻文件可以在線(xiàn)試聽(tīng)，支持下載和分享。
- ChatTTS模型-HuggingFace地址：https://huggingface.co/2Noise/ChatTTS
二、開(kāi)發(fā)部署ChatTTS
只需簡(jiǎn)單幾步，即可開(kāi)始使用ChatTTS。
1、從GitHub下載代碼。
ChatTTS模型-Github源碼：https://github.com/2noise/ChatTTS
git clone https://github.com/2noise/ChatTTS
2、安裝依賴(lài)項(xiàng)
在開(kāi)始之前，請(qǐng)確保已安裝所需的軟件包。您將需要torch和ChatTTS。如果尚未安裝，可以使用pip安裝：
pip install torch ChatTTS
3、導(dǎo)入所需庫(kù)
為您的腳本導(dǎo)入必要的庫(kù)。您將需要torch、ChatTTS和IPython.display中的Audio。
import torch
import ChatTTS
from IPython.display import Audio
4、初始化ChatTTS
創(chuàng)建ChatTTS類(lèi)的實(shí)例并加載預(yù)訓(xùn)練模型。
chat = ChatTTS.Chat()
chat.load_models()
5、準(zhǔn)備文本
定義要轉(zhuǎn)換為語(yǔ)音的文本。將替換為您想要的文本。
texts = [“你好，歡迎使用ChatTTS！“]
6、生成語(yǔ)音
使用infer方法從文本生成語(yǔ)音。設(shè)置use_decoder=True以啟用解碼器。
wavs = chat.infer(texts, use_decoder=True)
7、播放音頻
使用IPython.display中的Audio類(lèi)播放生成的音頻。將采樣率設(shè)置為24,000 Hz并啟用自動(dòng)播放。
Audio(wavs[0], rate=24_000, autoplay=True)
8、完成腳本
這是供參考的完整腳本：
import torch
import ChatTTS
from IPython.display import Audio# 初始化ChatTTS
chat = ChatTTS.Chat()
chat.load_models()# 定義要轉(zhuǎn)換為語(yǔ)音的文本
texts = [“你好，歡迎使用ChatTTS！“]# 生成語(yǔ)音
wavs = chat.infer(texts, use_decoder=True)# 播放生成的音頻
Audio(wavs[0], rate=24_000, autoplay=True)
ChatTTS 常見(jiàn)問(wèn)題
熱門(mén)工具標(biāo)簽
