只需3秒鐘,，一個(gè)根本沒聽過你說話的AI,，就能完美模仿出你的聲音,。
是不是細(xì)思極恐？
這是微軟最新AI成果——語音合成模型VALL·E,，只需3秒語音,，就能隨意復(fù)制任何人的聲音,。
它脫胎于DALL·E，但專攻音頻領(lǐng)域,，語音合成效果在網(wǎng)上放出后火了：
有網(wǎng)友表示，要是將VALL·E和ChatGPT結(jié)合起來,，效果簡直爆炸：
看來與GPT-4在Zoom里聊天的日子不遠(yuǎn)了,。
還有網(wǎng)友調(diào)侃,，（繼AI搞定作家、畫家之后）下一個(gè)就是配音演員了,。
所以VALL·E究竟怎么做到3秒鐘模仿“沒聽過”的聲音？
用語言模型來分析音頻
基于AI“沒聽過”的聲音合成語音,，即零樣本學(xué)習(xí),。
語音合成趨于成熟，但之前零樣本語音合成效果并不好,。
主流語音合成方案基本是預(yù)訓(xùn)練+微調(diào)模式,，如果用到零樣本場(chǎng)景下，會(huì)導(dǎo)致生成語音相似度和自然度很差,。
基于此,，VALL·E橫空出世，相比主流語音模型提出了不太一樣的思路,。
相比傳統(tǒng)模型采用梅爾頻譜提取特征，VALL·E直接將語音合成當(dāng)成了語言模型的任務(wù),，前者是連續(xù)的,，后者是離散化的。
具體來說,，傳統(tǒng)語音合成流程往往是“音素→梅爾頻譜（mel-spectrogram）→波形”這樣的路子,。
但VALL·E將這一流程變成了“音素→離散音頻編碼→波形”：
具體到模型設(shè)計(jì)上,，VALL·E也和VQVAE類似,，將音頻量化成一系列離散tokens，其中第一個(gè)量化器負(fù)責(zé)捕捉音頻內(nèi)容和說話者身份特征,，后幾個(gè)量化器則負(fù)責(zé)細(xì)化信號(hào),，使之聽起來更自然：
隨后以文本和3秒鐘的聲音提示作為條件,，自回歸地輸出離散音頻編碼：
VALL·E還是個(gè)全能選手,，除了零樣本語音合成，同時(shí)還支持語音編輯,、與GPT-3結(jié)合的語音內(nèi)容創(chuàng)建,。
那么在實(shí)際測(cè)試中，VALL·E的效果如何呢,？
連環(huán)境背景音都能還原
根據(jù)已合成的語音效果來看,，VALL·E能還原的絕不僅僅是說話人的音色。
不僅語氣模仿到位,，而且還支持多種不同語速的選擇,，例如這是在兩次說同一句話時(shí)，VALL·E給出的兩種不同語速,，但音色相似度仍然較高：
同時(shí)，連說話者的環(huán)境背景音也能準(zhǔn)確還原,。
除此之外,，VALL·E還能模仿說話者的多種情緒，包括憤怒,、困倦,、中立、愉悅和惡心等好幾種類型,。
值得一提的是,，VALL·E訓(xùn)練用的數(shù)據(jù)集不算特別大。
相比OpenAI的Whisper用了68萬小時(shí)的音頻訓(xùn)練,，在只用了7000多名演講者,、6萬小時(shí)訓(xùn)練的情況下，VALL·E就在語音合成相似度上超過了經(jīng)過預(yù)訓(xùn)練的語音合成模型YourTTS,。
而且,，YourTTS在訓(xùn)練時(shí)，事先已經(jīng)聽過108個(gè)演講者中的97人聲音,，但在實(shí)際測(cè)試中還是比不過VALL·E,。
有網(wǎng)友已經(jīng)在暢想它可以應(yīng)用的地方了：
不僅可以用在模仿自己的聲音上,，例如幫助殘障人士和別人完成對(duì)話,，也可以在自己不想說話時(shí)用它代替自己發(fā)語音。
當(dāng)然,，還可以用在有聲書的錄制上,。
不過,，VALL·E目前還沒開源,，要想試用可能還得再等等,。
作者介紹這篇論文所有作者均來自微軟,，其中有三位共同一作,。
一作Chengyi Wang,，南開大學(xué)和微軟亞研院聯(lián)合培養(yǎng)博士生,，研究興趣是語音識(shí)別、語音翻譯和語音預(yù)訓(xùn)練模型等,。
共同一作Sanyuan Chen，哈工大和微軟亞研院聯(lián)合培養(yǎng)博士生,，研究方向包括自監(jiān)督學(xué)習(xí),、NLP和語音處理等。
共同一作Yu Wu，微軟亞研院NLP小組研究員,，在北航獲得博士學(xué)位,，研究方向是語音處理、聊天機(jī)器人系統(tǒng)和機(jī)器翻譯等,。
感興趣的小伙伴可以戳下方論文地址查看~
論文地址：https://arxiv.org/abs/2301.02111
音頻試聽地址：https://valle-demo.github.io/
參考鏈接：https://twitter.com/DrJimFan/status/1611397525541617665
文章出處：量子位
