[發(fā)明專利]歌聲合成

在審

• 申請(qǐng)?zhí)枺?/td>: 201911156831.7
• 申請(qǐng)日: 2019-11-22
• 公開（公告）號(hào): CN112951198A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 盧佩玲;欒劍;吳潔
• 申請(qǐng)（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號(hào): G10L13/02
• 分類號(hào): G10L13/02;G10L13/033;G10H7/00;G10H1/00
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 趙騰飛

本公開提供了用于歌聲合成的方法和裝置。可以接收從樂(lè)譜中提取的第一樂(lè)譜音素信息，所述第一樂(lè)譜音素信息包括第一音素以及與所述第一音素相對(duì)應(yīng)的音符的音高和節(jié)拍。可以基于所述第一樂(lè)譜音素信息，生成與所述第一音素相對(duì)應(yīng)的基頻差量和頻譜參數(shù)。可以通過(guò)利用所述基頻差量調(diào)節(jié)所述音符的音高，獲得與所述第一音素相對(duì)應(yīng)的基頻。可以至少部分地基于所述基頻和所述頻譜參數(shù)，生成與所述第一音素相對(duì)應(yīng)的聲學(xué)波形。

背景技術(shù)

歌聲合成(SVS：Singing Voice Synthesis)是用于基于包括例如歌詞、節(jié)奏、音高等信息的樂(lè)譜來(lái)生成虛擬歌聲的技術(shù)。歌聲合成可以包括基于樂(lè)譜來(lái)預(yù)測(cè)聲學(xué)特征，并進(jìn)而基于聲學(xué)特征來(lái)生成語(yǔ)音波形。歌聲合成旨在自動(dòng)地生成模擬真實(shí)人類的演唱的歌聲

發(fā)明內(nèi)容

提供本發(fā)明內(nèi)容以便介紹一組概念，這組概念將在以下的具體實(shí)施方式中做進(jìn)一步描述。本發(fā)明內(nèi)容并非旨在標(biāo)識(shí)所保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所保護(hù)主題的范圍。

本公開的實(shí)施例提供了用于歌聲合成的方法和裝置。可以接收從樂(lè)譜中提取的第一樂(lè)譜音素信息，該第一樂(lè)譜音素信息可以包括第一音素以及與該第一音素相對(duì)應(yīng)的音符的音高和節(jié)拍。可以基于第一樂(lè)譜音素信息，生成與該第一音素相對(duì)應(yīng)的基頻差量和頻譜參數(shù)。可以利用所述基頻差量調(diào)節(jié)所述音符的音高，以獲得與所述第一音素相對(duì)應(yīng)的基頻。可以至少部分地基于該基頻和頻譜參數(shù)，生成與所述第一音素相對(duì)應(yīng)的聲學(xué)波形。

應(yīng)當(dāng)注意，以上一個(gè)或多個(gè)方面包括以下詳細(xì)描述以及權(quán)利要求中具體指出的特征。下面的說(shuō)明書及附圖詳細(xì)提出了所述一個(gè)或多個(gè)方面的某些說(shuō)明性特征。這些特征僅僅指示可以實(shí)施各個(gè)方面的原理的多種方式，并且本公開旨在包括所有這些方面和其等同變換。

附圖說(shuō)明

以下將結(jié)合附圖描述所公開的多個(gè)方面，這些附圖被提供用以說(shuō)明而非限制所公開的多個(gè)方面。

圖1示出了現(xiàn)有的示例性TTS系統(tǒng)架構(gòu)。

圖2示出了根據(jù)本發(fā)明的實(shí)施例的解析樂(lè)譜的示例性過(guò)程。

圖3示出了根據(jù)本發(fā)明的實(shí)施例的示例性SVS系統(tǒng)架構(gòu)。

圖4示出了根據(jù)本發(fā)明的實(shí)施例的生成樂(lè)譜的示例性過(guò)程。

圖5示出了根據(jù)本發(fā)明的實(shí)施例的樂(lè)譜編碼器的示例性架構(gòu)。

圖6示出了根據(jù)本發(fā)明的實(shí)施例的頻譜解碼器的示例性架構(gòu)。

圖7示出了根據(jù)本發(fā)明的實(shí)施例的歌聲合成的示例性應(yīng)用場(chǎng)景。

圖8示出了根據(jù)本發(fā)明的實(shí)施例的基于樂(lè)譜來(lái)進(jìn)行歌聲合成的示例性過(guò)程。

圖9示出了根據(jù)本發(fā)明的實(shí)施例的對(duì)聲學(xué)特征預(yù)測(cè)器的示例性訓(xùn)練過(guò)程。

圖10示出了根據(jù)本發(fā)明的實(shí)施例的用于歌聲合成的示例性方法的流程圖。

圖11示出了根據(jù)本發(fā)明的實(shí)施例的用于歌聲合成的示例性裝置的框圖。

圖12示出了根據(jù)本發(fā)明的實(shí)施例的用于歌聲合成的示例性裝置的框圖。

具體實(shí)施方式

現(xiàn)在將參考多種示例性實(shí)施方式來(lái)討論本公開。應(yīng)當(dāng)理解，這些實(shí)施方式的討論僅僅用于使得本領(lǐng)域技術(shù)人員能夠更好地理解并從而實(shí)施本公開的實(shí)施例，而并非教導(dǎo)對(duì)本公開的范圍的任何限制。