[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的歌曲生成方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811550908.4
• 申請(qǐng)日: 2018-12-18
• 公開(kāi)（公告）號(hào): CN109801608A
• 公開(kāi)（公告）日: 2019-05-24
• 發(fā)明（設(shè)計(jì)）人: 周湘君;杜慶焜;陳海榮;張李京
• 申請(qǐng)（專利權(quán)）人: 武漢西山藝創(chuàng)文化有限公司
• 主分類號(hào): G10H1/00
• 分類號(hào): G10H1/00
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 陳慧華

1.一種基于神經(jīng)網(wǎng)路的歌曲生成方法，其特征在于，包括以下步驟：

S100)獲取歌詞文本并確定演唱者；

S200)從所述歌詞文本中提取音素；

S300)根據(jù)音素預(yù)測(cè)模型預(yù)測(cè)每個(gè)所述音素對(duì)應(yīng)的持續(xù)時(shí)間和基頻，其中，所述音素預(yù)測(cè)模型為根據(jù)所述演唱者對(duì)應(yīng)的音頻文件樣本集合訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型；

S400)將所述音素、持續(xù)時(shí)間和基頻結(jié)合，得到目標(biāo)歌曲音頻。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S100還包括以下子步驟：

S101)獲取歌曲生成頁(yè)面，所述歌曲生成頁(yè)面用于設(shè)置所述歌詞文本和演唱者；

S102)從所述歌曲生成頁(yè)面獲取歌詞文本；

S103)確定所述歌曲生成頁(yè)面中被選中的演唱者。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S200還包括以下子步驟：

S201)根據(jù)標(biāo)準(zhǔn)音素字典生成樣本集以訓(xùn)練得到語(yǔ)素音素轉(zhuǎn)換模型，其中，樣本集存放有音素和語(yǔ)素的鍵值對(duì)，語(yǔ)素音素轉(zhuǎn)換模型為神經(jīng)網(wǎng)絡(luò)模型；

S202)使用所述語(yǔ)素音素轉(zhuǎn)換模型將所述歌詞文本中的語(yǔ)素轉(zhuǎn)換為所述音素。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S300還包括以下子步驟：

S301)從所述演唱者對(duì)應(yīng)的音頻文件樣本集合獲取被文本樣本標(biāo)記的音頻文件樣本；

S302)從所述文本樣本中提取第一音素樣本，并根據(jù)分割模型將所述音頻文件樣本分割得到每個(gè)所述第一音素樣本對(duì)應(yīng)的音頻剪輯；

S303)根據(jù)所述音頻剪輯獲取每個(gè)所述第一音素樣本對(duì)應(yīng)的持續(xù)時(shí)間和基頻，以構(gòu)建訓(xùn)練樣本集合；

S304)根據(jù)所述訓(xùn)練樣本集合訓(xùn)練所述音素預(yù)測(cè)模型；

S305)根據(jù)訓(xùn)練得到的所述音素預(yù)測(cè)模型預(yù)測(cè)所述歌詞文本中每個(gè)所述音素對(duì)應(yīng)的持續(xù)時(shí)間和基頻。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，每個(gè)所述第一音素樣本的音頻剪輯至少包括在所述音頻文件樣本中的起始時(shí)間。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S400還包括以下子步驟：

S401)獲取語(yǔ)音合成模型，所述語(yǔ)音合成模型為使用語(yǔ)音合成樣本集合訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型，所述語(yǔ)音合成樣本包括帶有持續(xù)時(shí)間和基頻信息的第二音素樣本和對(duì)應(yīng)的語(yǔ)音剪輯；

S402)將所述音素、持續(xù)時(shí)間和基頻作為所述語(yǔ)音合成模型的輸入，以經(jīng)過(guò)語(yǔ)音合成模型處理后輸出所述歌詞文本對(duì)應(yīng)的目標(biāo)歌曲音頻。

7.根據(jù)權(quán)利要求1至6中任意一項(xiàng)所述的方法，其特征在于，還包括：

S500)獲取伴奏音頻；

S600)將所述伴奏音頻與所述目標(biāo)歌曲音頻合成，得到新的目標(biāo)歌曲音頻。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述音素預(yù)測(cè)模型是基于Tensorflow和Kerass學(xué)習(xí)框架建立。

9.一種基于神經(jīng)網(wǎng)絡(luò)的歌曲生成系統(tǒng)，適用于二維電子動(dòng)作游戲的制作，其特征在于，包括以下模塊：

導(dǎo)入模塊，用于獲取歌詞文本并確定演唱者；

音素提取模塊，用于從所述歌詞文本中提取音素；

音素預(yù)測(cè)模塊，用于據(jù)音素預(yù)測(cè)模型預(yù)測(cè)每個(gè)所述音素對(duì)應(yīng)的持續(xù)時(shí)間和基頻，其中，所述音素預(yù)測(cè)模型為根據(jù)所述演唱者對(duì)應(yīng)的音頻文件樣本集合訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型；

結(jié)合模塊，用于將所述音素、持續(xù)時(shí)間和基頻結(jié)合，得到目標(biāo)歌曲音頻。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，其特征在于該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的方法的步驟。