[發(fā)明專(zhuān)利]基于進(jìn)階式的語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210116109.6
• 申請(qǐng)日: 2022-02-07
• 公開(kāi)（公告）號(hào): CN114155883B
• 公開(kāi)（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 史慧宇;歐陽(yáng)鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京清微智能信息技術(shù)有限公司
• 主分類(lèi)號(hào): G10L25/84
• 分類(lèi)號(hào): G10L25/84;G10L25/30
• 代理公司: 北京索睿邦知識(shí)產(chǎn)權(quán)代理有限公司 11679
• 代理人: 朱玲

1.一種基于進(jìn)階式的語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，包括：

獲取混合語(yǔ)音樣本以及目標(biāo)樣本語(yǔ)音，其中，所述混合語(yǔ)音樣本包括目標(biāo)語(yǔ)音和噪音語(yǔ)音；

將所述混合語(yǔ)音樣本輸入預(yù)設(shè)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型，得到預(yù)測(cè)目標(biāo)語(yǔ)音，其中，所述預(yù)設(shè)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型包括進(jìn)階式提取器、重構(gòu)器和編碼器，所述編碼器用于對(duì)所述混合語(yǔ)音進(jìn)行特征提取，得到第一特征，所述進(jìn)階式提取器用于根據(jù)所述第一特征，計(jì)算得到高維映射關(guān)系特征，所述重構(gòu)器用于根據(jù)所述高維映射關(guān)系特征，得到所述混合語(yǔ)音樣本中的預(yù)測(cè)目標(biāo)語(yǔ)音；

根據(jù)所述目標(biāo)樣本語(yǔ)音和所述預(yù)測(cè)目標(biāo)語(yǔ)音所確定的損失函數(shù)滿足預(yù)設(shè)條件，確定所述預(yù)設(shè)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型為目標(biāo)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型；

所述編碼器用于對(duì)所述混合語(yǔ)音進(jìn)行特征提取，得到第一特征，包括：

將所述混合語(yǔ)音樣本輸入到所述預(yù)設(shè)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型中，通過(guò)所述編碼器包括的兩層卷積網(wǎng)絡(luò)、ReLU激活函數(shù)和批歸一化處理，得到所述第一特征。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述進(jìn)階式提取器用于根據(jù)所述第一特征，計(jì)算得到高維映射關(guān)系特征，包括：

在所述進(jìn)階式提取器包括多個(gè)進(jìn)階單元，每個(gè)進(jìn)階單元包括：延時(shí)神經(jīng)網(wǎng)絡(luò)、ReLU激活函數(shù)、批歸一化處理、時(shí)延神經(jīng)網(wǎng)絡(luò)、池化層、批歸一化處理、圖卷積層的情況下；

將所述第一特征中的每個(gè)元素分別輸入對(duì)應(yīng)的進(jìn)階單元，得到所述高維映射關(guān)系特征。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述第一特征中的每個(gè)元素分別輸入對(duì)應(yīng)的進(jìn)階單元，得到所述高維映射關(guān)系特征，包括：

在所述第一特征表示為H＝{h0，…，hi，…，hM-1}，其中，i＝0到M-1，所述進(jìn)階單元包括M個(gè)，即J＝{j0，…，ji，…，jM-1}的情況下；

h0輸入至第一個(gè)進(jìn)階單元，得到對(duì)應(yīng)輸出p0；

h1與p0相加后的結(jié)果輸入第二進(jìn)階單元計(jì)算，得到h1位置對(duì)應(yīng)的輸出p1；

h2與p1相加后輸入至第三進(jìn)階單元得到h2位置對(duì)應(yīng)的輸出p2；

每個(gè)位置計(jì)算以此類(lèi)推，直到最后的hM-1與pM-2相加得到對(duì)應(yīng)的輸出pM-1，得到高維映射關(guān)系特征P＝{p0，…，pM-1}。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述重構(gòu)器用于根據(jù)所述高維映射關(guān)系特征，得到所述混合語(yǔ)音樣本中的預(yù)測(cè)目標(biāo)語(yǔ)音，包括：

將所述映射關(guān)系P輸入到所述重構(gòu)器，經(jīng)兩層卷積網(wǎng)絡(luò)層、ReLU激活函數(shù)和批歸一化處理后，得到所述混合語(yǔ)音樣本中的預(yù)測(cè)目標(biāo)語(yǔ)音。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標(biāo)樣本語(yǔ)音和所述預(yù)測(cè)目標(biāo)語(yǔ)音所確定的損失函數(shù)滿足預(yù)設(shè)條件，確定所述預(yù)設(shè)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型為目標(biāo)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型，包括：

計(jì)算所述目標(biāo)樣本語(yǔ)音和所述預(yù)測(cè)目標(biāo)語(yǔ)的等比例不變信噪比，根據(jù)所述等比例不變信噪比確定所述損失函數(shù)；

根據(jù)所述損失函數(shù)的損失值，通過(guò)梯度下降法調(diào)整所述預(yù)設(shè)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型的各參數(shù)的權(quán)重和偏置；

根據(jù)所述目標(biāo)樣本語(yǔ)音和所述預(yù)測(cè)目標(biāo)語(yǔ)音所確定的損失函數(shù)滿足預(yù)設(shè)條件，確定所述預(yù)設(shè)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型為目標(biāo)語(yǔ)音深度神經(jīng)網(wǎng)絡(luò)模型。