[發(fā)明專(zhuān)利]一種實(shí)現(xiàn)語(yǔ)音歌唱化的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201210591777.0
• 申請(qǐng)日: 2012-12-31
• 公開(kāi)（公告）號(hào): CN103915093B
• 公開(kāi)（公告）日: 2019-07-30
• 發(fā)明（設(shè)計(jì)）人: 孫見(jiàn)青;凌震華;江源;何婷婷;胡國(guó)平;胡郁;劉慶峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 科大訊飛股份有限公司
• 主分類(lèi)號(hào): G10L15/04
• 分類(lèi)號(hào): G10L15/04;G10L15/26;G10L15/28
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本發(fā)明實(shí)施例公開(kāi)了一種實(shí)現(xiàn)語(yǔ)音歌唱化的方法和裝置，所述方法包括：接收用戶輸入的語(yǔ)音信號(hào)；將所述語(yǔ)音信號(hào)切分獲得各基本考察單元的語(yǔ)音片斷；根據(jù)預(yù)置的簡(jiǎn)譜，確定簡(jiǎn)譜中的各音符與所述各基本考察單元的對(duì)應(yīng)關(guān)系；根據(jù)簡(jiǎn)譜中各音符的音高，和所述對(duì)應(yīng)關(guān)系，分別確定其所對(duì)應(yīng)的基本考察單元的目標(biāo)基頻值；根據(jù)簡(jiǎn)譜中各音符的節(jié)拍數(shù)，和所述對(duì)應(yīng)關(guān)系，分別確定其所對(duì)應(yīng)的基本考察單元的目標(biāo)時(shí)長(zhǎng)；根據(jù)所述目標(biāo)基頻值和目標(biāo)時(shí)長(zhǎng)調(diào)整各基本考察單元的語(yǔ)音片斷，使得調(diào)整后的語(yǔ)音片段的基頻為所述目標(biāo)基頻值，調(diào)整后的語(yǔ)音片段的時(shí)長(zhǎng)為所述目標(biāo)時(shí)長(zhǎng)。該方法避免了多次信號(hào)轉(zhuǎn)換的損失，實(shí)現(xiàn)了對(duì)任意長(zhǎng)度及任意內(nèi)容的語(yǔ)音向任意歌曲的唱歌語(yǔ)音轉(zhuǎn)換。

技術(shù)領(lǐng)域

本發(fā)明涉及語(yǔ)音信號(hào)處理領(lǐng)域，具體涉及一種實(shí)現(xiàn)語(yǔ)音歌唱化的方法和裝置。

背景技術(shù)

近年來(lái)，歌唱合成系統(tǒng)，即將用戶輸入的文本數(shù)據(jù)轉(zhuǎn)換為歌唱語(yǔ)音的方法以及得到了廣泛的研究和應(yīng)用。歌唱合成系統(tǒng)的實(shí)現(xiàn)首先要求錄制大量的歌曲數(shù)據(jù)，包括語(yǔ)音數(shù)據(jù)和簡(jiǎn)譜數(shù)據(jù)等，以提供合成系統(tǒng)所需的語(yǔ)音片段或訓(xùn)練可靠的模型參數(shù)。然后，由于歌曲數(shù)據(jù)錄制的代價(jià)較大，歌唱合成系統(tǒng)通常只能選擇錄制某個(gè)特定發(fā)音人的數(shù)據(jù)，相應(yīng)的提供的歌唱合成效果限定為特定發(fā)音人的音色，不適合個(gè)性化定制，無(wú)法實(shí)現(xiàn)到特定音色的演繹，特別是用戶自身音色的重現(xiàn)。

針對(duì)上述問(wèn)題，現(xiàn)有技術(shù)中開(kāi)發(fā)了一種歌唱合成方法，允許設(shè)備接收用戶以說(shuō)話風(fēng)格方式輸入的語(yǔ)音數(shù)據(jù)，系統(tǒng)按照預(yù)設(shè)的簡(jiǎn)譜對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行優(yōu)化實(shí)現(xiàn)歌曲合成。這種方式保留了用戶語(yǔ)音數(shù)據(jù)的音色，實(shí)現(xiàn)個(gè)性化合成。具體操作包括：（1）系統(tǒng)接收用戶說(shuō)話風(fēng)格的歌詞語(yǔ)音輸入；（2）通過(guò)人工切分的方式將語(yǔ)音信號(hào)切分為各個(gè)獨(dú)立的基于音素單元的語(yǔ)音片段；（3）并根據(jù)簡(jiǎn)譜標(biāo)注確定各音素單元和簡(jiǎn)譜音符的對(duì)應(yīng)關(guān)系；（4）系統(tǒng)從各音素單元的語(yǔ)音片段中提取聲學(xué)頻譜特征，基頻特征等；（5）系統(tǒng)根據(jù)簡(jiǎn)譜標(biāo)注信息確定目標(biāo)歌曲的基頻F0特征參數(shù)和時(shí)長(zhǎng)特征，并據(jù)此調(diào)整各音素單元的基頻特征和時(shí)長(zhǎng)；（6）系統(tǒng)根據(jù)各音素單元的聲學(xué)頻譜特征，以及韻律特征（如：基頻特征及時(shí)長(zhǎng)特征等），合成歌唱語(yǔ)音輸出。

該現(xiàn)有技術(shù)雖然實(shí)現(xiàn)了從說(shuō)話風(fēng)格語(yǔ)音信號(hào)到歌唱風(fēng)格的轉(zhuǎn)換，但具有如下問(wèn)題：

一方面，該方案只能實(shí)現(xiàn)簡(jiǎn)譜對(duì)應(yīng)的歌詞的說(shuō)話風(fēng)格語(yǔ)音輸入的轉(zhuǎn)換。也就是說(shuō)用戶只能輸入指定歌曲的歌詞，無(wú)法實(shí)現(xiàn)對(duì)任意長(zhǎng)度的，任意內(nèi)容的歌曲合成效果轉(zhuǎn)換，應(yīng)用方法受限，同時(shí)也降低了娛樂(lè)效果；

進(jìn)一步，該方案通過(guò)人工切分方式，實(shí)現(xiàn)了說(shuō)話風(fēng)格的連續(xù)語(yǔ)音信號(hào)的切分，以及簡(jiǎn)譜音符的對(duì)應(yīng)。對(duì)人工要求較高，受到語(yǔ)種的限制，無(wú)法普適推廣。

而且，該方案采用的是參數(shù)合成方式，即首先將語(yǔ)音信號(hào)轉(zhuǎn)換為聲學(xué)特征，隨后在特征層面上按照歌唱標(biāo)準(zhǔn)進(jìn)行優(yōu)化，最后按照合成方式從優(yōu)化特征中合成得到連續(xù)語(yǔ)音信號(hào)。顯然從語(yǔ)音信號(hào)到特征參數(shù)的轉(zhuǎn)換，以及特征參數(shù)到語(yǔ)音信號(hào)的合成中均存在信號(hào)的損失，音質(zhì)有明顯的下降。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種實(shí)現(xiàn)語(yǔ)音歌唱化的方法和裝置，能夠自動(dòng)對(duì)語(yǔ)音進(jìn)行切分，而且可以將任意長(zhǎng)度和任意內(nèi)容的說(shuō)話語(yǔ)音轉(zhuǎn)換為用戶需要的歌曲。

本發(fā)明實(shí)施例提供了一種實(shí)現(xiàn)語(yǔ)音歌唱化的方法，所述方法包括：

接收用戶輸入的語(yǔ)音信號(hào)；

將所述語(yǔ)音信號(hào)切分獲得各基本考察單元的語(yǔ)音片斷；

根據(jù)預(yù)置的簡(jiǎn)譜，確定簡(jiǎn)譜中的各音符與所述各基本考察單元的對(duì)應(yīng)關(guān)系；

根據(jù)簡(jiǎn)譜中各音符的音高，和所述對(duì)應(yīng)關(guān)系，分別確定其所對(duì)應(yīng)的基本考察單元的目標(biāo)基頻值；

根據(jù)簡(jiǎn)譜中各音符的節(jié)拍數(shù)，和所述對(duì)應(yīng)關(guān)系，分別確定其所對(duì)應(yīng)的基本考察單元的目標(biāo)時(shí)長(zhǎng)；

根據(jù)所述目標(biāo)基頻值和目標(biāo)時(shí)長(zhǎng)調(diào)整各基本考察單元的語(yǔ)音片斷，使得調(diào)整后的語(yǔ)音片段的基頻為所述目標(biāo)基頻值，調(diào)整后的語(yǔ)音片段的時(shí)長(zhǎng)為所述目標(biāo)時(shí)長(zhǎng)。