[發(fā)明專利]小語(yǔ)種語(yǔ)音語(yǔ)料擴(kuò)增方法、裝置及電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110325580.1
• 申請(qǐng)日: 2021-03-26
• 公開（公告）號(hào): CN113077783B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 白海釧;杜楊洲
• 申請(qǐng)（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號(hào): G10L15/02
• 分類號(hào): G10L15/02;G10L15/06;G10L15/16;G10L17/04;G10L17/18;G10L25/18;G10L25/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張靜

本申請(qǐng)實(shí)施例公開了一種小語(yǔ)種語(yǔ)音語(yǔ)料擴(kuò)增方法、裝置及電子設(shè)備和存儲(chǔ)介質(zhì)，將小語(yǔ)種語(yǔ)料庫(kù)中的語(yǔ)音的頻譜特征轉(zhuǎn)換為多個(gè)層級(jí)的參數(shù)，其中至少部分層級(jí)的參數(shù)中，不同層級(jí)的參數(shù)一一對(duì)應(yīng)不同的聲紋屬性，通過對(duì)至少一個(gè)層級(jí)的參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的多個(gè)層級(jí)的參數(shù)，然后利用調(diào)整后的多個(gè)層級(jí)的參數(shù)生成新的頻譜特征；基于新的頻譜特征生成新語(yǔ)音作為擴(kuò)增的小語(yǔ)種語(yǔ)音語(yǔ)料。由于對(duì)至少部分層級(jí)的參數(shù)中的任意一個(gè)層級(jí)的參數(shù)進(jìn)行調(diào)整時(shí)，僅該任意一個(gè)層級(jí)的參數(shù)對(duì)應(yīng)的聲紋屬性改變，其它層級(jí)的參數(shù)對(duì)應(yīng)的聲紋屬性保持不變，可以實(shí)現(xiàn)對(duì)小語(yǔ)種語(yǔ)料庫(kù)中的語(yǔ)音語(yǔ)料進(jìn)行多樣化擴(kuò)增。

技術(shù)領(lǐng)域

本申請(qǐng)涉及語(yǔ)音處理技術(shù)領(lǐng)域，更具體地說，涉及一種小語(yǔ)種語(yǔ)音語(yǔ)料擴(kuò)增方法、裝置及電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

對(duì)語(yǔ)音識(shí)別(Automatic?Speech?Recognition,ASR)模型來(lái)說，訓(xùn)練數(shù)據(jù)需要大規(guī)模帶有文本標(biāo)注的語(yǔ)音數(shù)據(jù)。然而，由于語(yǔ)音數(shù)據(jù)的收集需要耗費(fèi)大量人力、物力和時(shí)間，尤其是小語(yǔ)種數(shù)據(jù)錄制和標(biāo)注的難度更高。

目前，為了獲取訓(xùn)練ASR模型所需的大量的語(yǔ)音數(shù)據(jù)，通常是對(duì)已有的語(yǔ)音數(shù)據(jù)進(jìn)行處理(比如，速度擾動(dòng)、加噪、加混響等)來(lái)提升數(shù)據(jù)量，但這種簡(jiǎn)單處理得到的數(shù)據(jù)類型不夠豐富，對(duì)ASR模型性能的提升有限。

因此，如何快速獲得數(shù)據(jù)類型豐富的語(yǔ)音數(shù)據(jù)成為亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請(qǐng)的目的是提供一種小語(yǔ)種語(yǔ)音語(yǔ)料擴(kuò)增方法、裝置及電子設(shè)備和存儲(chǔ)介質(zhì)，包括如下技術(shù)方案：

一種小語(yǔ)種語(yǔ)音語(yǔ)料擴(kuò)增方法，所述方法包括：

獲得小語(yǔ)種語(yǔ)料庫(kù)中的第一語(yǔ)音的第一頻譜特征；

對(duì)所述第一頻譜特征進(jìn)行處理，得到與所述第一頻譜特征對(duì)應(yīng)的多個(gè)層級(jí)的參數(shù)；其中，每個(gè)層級(jí)的參數(shù)對(duì)應(yīng)至少一個(gè)聲紋屬性，至少部分層級(jí)的參數(shù)中，不同層級(jí)的參數(shù)一一對(duì)應(yīng)不同的聲紋屬性；

對(duì)所述多個(gè)層級(jí)的參數(shù)中的至少一個(gè)層級(jí)的參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的多個(gè)層級(jí)的參數(shù)；其中，對(duì)所述至少部分層級(jí)的參數(shù)中的任意一個(gè)層級(jí)的參數(shù)進(jìn)行調(diào)整時(shí)，所述任意一個(gè)層級(jí)的參數(shù)對(duì)應(yīng)的聲紋屬性的值改變，所述多個(gè)層級(jí)的參數(shù)中的其它層級(jí)的參數(shù)對(duì)應(yīng)的聲紋屬性的值保持不變；

利用所述調(diào)整后的多個(gè)層級(jí)的參數(shù)生成第二頻譜特征；

基于所述第二頻譜特征生成第二語(yǔ)音，對(duì)所述第二語(yǔ)音進(jìn)行存儲(chǔ)以獲得擴(kuò)增的小語(yǔ)種語(yǔ)音語(yǔ)料。

上述方法，優(yōu)選的，對(duì)所述第一頻譜特征進(jìn)行處理，得到與所述第一頻譜特征對(duì)應(yīng)的多個(gè)層級(jí)的參數(shù)，對(duì)所述多個(gè)層級(jí)的參數(shù)中的至少一個(gè)層級(jí)的參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的多個(gè)層級(jí)的參數(shù)，利用所述調(diào)整后的多個(gè)層級(jí)的參數(shù)生成第二頻譜特征，包括：

利用聲紋屬性解耦表示模型中的編碼模塊對(duì)所述第一頻譜特征進(jìn)行編碼，得到所述多個(gè)層級(jí)的參數(shù)；

對(duì)所述多個(gè)層級(jí)的參數(shù)中的至少一個(gè)層級(jí)的參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的多個(gè)層級(jí)的參數(shù)；

利用所述聲紋屬性解耦表示模型中的解碼器對(duì)所述調(diào)整后的多個(gè)層級(jí)的參數(shù)進(jìn)行解碼，得到所述第二頻譜特征。

上述方法，優(yōu)選的，所述利用聲紋屬性解耦表示模型中的編碼模塊對(duì)所述第一頻譜特征進(jìn)行編碼，包括：

將所述第一頻譜特征轉(zhuǎn)換為圖像；利用所述聲紋屬性解耦表示模型中的編碼模塊對(duì)所述圖像進(jìn)行編碼；

或者，

利用所述聲紋屬性解耦表示模型中的編碼模塊直接對(duì)所述第一頻譜特征進(jìn)行編碼。

上述方法，優(yōu)選的，所述聲紋屬性解耦表示模型通過如下方式訓(xùn)練得到：