[發(fā)明專(zhuān)利]音頻生成的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010901040.9
• 申請(qǐng)日: 2020-08-31
• 公開(kāi)（公告）號(hào): CN112133319A
• 公開(kāi)（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 張斌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊音樂(lè)娛樂(lè)科技（深圳）有限公司
• 主分類(lèi)號(hào): G10L21/007
• 分類(lèi)號(hào): G10L21/007;G10L21/003;G06F21/32;G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 張所明

1.一種音頻生成方法，其特征在于，所述方法包括：

基于預(yù)設(shè)時(shí)長(zhǎng)對(duì)目標(biāo)音頻進(jìn)行切分，得到多個(gè)音頻段，其中，所述預(yù)設(shè)時(shí)長(zhǎng)是所述目標(biāo)音頻的幀間隔時(shí)長(zhǎng)的N倍，N為大于1的整數(shù)；

基于頻域擴(kuò)展模型的第一頻域擴(kuò)展模塊，分別對(duì)每個(gè)音頻段的幅度矩陣進(jìn)行處理，得到每個(gè)音頻段對(duì)應(yīng)的第一中間結(jié)果矩陣；

基于頻域擴(kuò)展模型的第二頻域擴(kuò)展模塊，分別對(duì)每個(gè)音頻段的幅度矩陣的轉(zhuǎn)置矩陣進(jìn)行處理，得到每個(gè)音頻段對(duì)應(yīng)的第二中間結(jié)果矩陣；

對(duì)于每個(gè)音頻段，基于所述音頻段的第一中間結(jié)果矩陣與第二中間結(jié)果矩陣，確定包含高頻數(shù)據(jù)的音頻段；

對(duì)每個(gè)包含高頻數(shù)據(jù)的音頻段進(jìn)行組合，得到包含高頻數(shù)據(jù)的目標(biāo)音頻。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)設(shè)時(shí)長(zhǎng)對(duì)目標(biāo)音頻進(jìn)行切分之前，還包括：

獲取原始音頻，對(duì)所述原始音頻進(jìn)行解碼處理以及短時(shí)傅里葉變換處理，得到目標(biāo)音頻。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于頻域擴(kuò)展模型的第一頻域擴(kuò)展模塊，分別對(duì)每個(gè)音頻段的幅度矩陣進(jìn)行處理，得到每個(gè)音頻段對(duì)應(yīng)的第一中間結(jié)果矩陣，包括：

將每個(gè)音頻段的幅度矩陣依次基于第一頻域擴(kuò)展模塊的輸入層、長(zhǎng)短時(shí)記憶層、輸出層進(jìn)行處理，得到每個(gè)音頻段對(duì)應(yīng)的第一中間結(jié)果矩陣；

所述基于頻域擴(kuò)展模型的第二頻域擴(kuò)展模塊，分別對(duì)每個(gè)音頻段的幅度矩陣的轉(zhuǎn)置矩陣進(jìn)行處理，得到每個(gè)音頻段對(duì)應(yīng)的第二中間結(jié)果矩陣，包括：

將每個(gè)音頻段的幅度矩陣的轉(zhuǎn)置矩陣依次基于第二頻域擴(kuò)展模塊的輸入層、長(zhǎng)短時(shí)記憶層、輸出層進(jìn)行處理，得到每個(gè)音頻段對(duì)應(yīng)的第二中間結(jié)果矩陣。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一中間結(jié)果矩陣與所述第二中間結(jié)果矩陣，確定包含高頻數(shù)據(jù)的音頻段，包括：

對(duì)所述第二中間結(jié)果矩陣進(jìn)行轉(zhuǎn)置，得到所述第二中間結(jié)果矩陣的轉(zhuǎn)置矩陣；

基于所述第一中間結(jié)果矩陣與所述第二中間結(jié)果矩陣的轉(zhuǎn)置，確定包含高頻數(shù)據(jù)的音頻段的幅度矩陣；

基于所述音頻段中每個(gè)時(shí)間點(diǎn)和每個(gè)頻點(diǎn)對(duì)應(yīng)的相位數(shù)據(jù)，以及所述包含高頻數(shù)據(jù)的音頻段的幅度矩陣中每個(gè)時(shí)間點(diǎn)和每個(gè)頻點(diǎn)對(duì)應(yīng)的幅度數(shù)據(jù)，生成包含高頻數(shù)據(jù)的音頻段。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述第一中間結(jié)果矩陣與所述第二中間結(jié)果矩陣的轉(zhuǎn)置矩陣，確定包含高頻數(shù)據(jù)的音頻段的幅度矩陣，包括：

將所述第一中間結(jié)果矩陣與所述第二中間結(jié)果矩陣的轉(zhuǎn)置矩陣相加，得到包含高頻數(shù)據(jù)的音頻段的幅度矩陣。

6.一種頻域擴(kuò)展模型訓(xùn)練的方法，其特征在于，所述方法包括：

獲取樣本音頻段；

對(duì)所述樣本音頻段進(jìn)行高頻數(shù)據(jù)去除處理，得到不包含有高頻數(shù)據(jù)的樣本音頻段；

將所述不包含有高頻數(shù)據(jù)的樣本音頻段輸入初始頻域擴(kuò)展模型，得到輸出音頻段；

基于所述不包含有高頻數(shù)據(jù)的樣本音頻段與所述樣本音頻段的映射關(guān)系、所述不包含有高頻數(shù)據(jù)的樣本音頻段與所述輸出音頻段的映射關(guān)系輸入初始判別模型進(jìn)行識(shí)別；

基于所述識(shí)別結(jié)果對(duì)所述初始頻域擴(kuò)展模型進(jìn)行訓(xùn)練，得到目標(biāo)頻域擴(kuò)展模型。