[發(fā)明專利]模型聯(lián)合訓練方法、裝置、計算機設備和存儲介質

有效

• 申請?zhí)枺?/td>: 202110044163.X
• 申請日: 2021-01-13
• 公開（公告）號: CN112364993B
• 公開（公告）日: 2021-04-30
• 發(fā)明（設計）人: 徐泓洋;王廣新;楊漢丹
• 申請（專利權）人: 深圳市友杰智新科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;曹勇

1.一種模型聯(lián)合訓練方法，其特征在于，包括以下步驟：

構建音頻訓練數據的第一聲學特征矩陣；

將所述第一聲學特征矩陣輸入至編碼網絡得到第一高維特征矩陣；

將所述第一高維特征矩陣輸入至解碼網絡得到第二聲學特征矩陣；

將所述第二聲學特征矩陣輸入至所述編碼網絡得到第二高維特征矩陣；

將所述第一高維特征矩陣以及第二高維特征矩陣分別輸入至分類網絡中，并基于反向傳播算法，調整所述編碼網絡、解碼網絡以及分類網絡的網絡參數，得到訓練完成的喚醒模型以及降噪模型；其中，所述編碼網絡與所述分類網絡構成喚醒模型，所述編碼網絡與所述解碼網絡構成降噪模型。

2.根據權利要求1所述的模型聯(lián)合訓練方法，其特征在于，所述分類網絡包括全連接層以及softmax函數，所使用的損失函數是交叉熵損失函數。

3.根據權利要求2所述的模型聯(lián)合訓練方法，其特征在于，所述將所述第一高維特征矩陣以及第二高維特征矩陣分別輸入至分類網絡中，并基于反向傳播算法，調整所述編碼網絡、解碼網絡以及分類網絡的網絡參數，得到訓練完成的喚醒模型以及降噪模型的步驟，包括：

將所述第一高維特征矩陣以及第二高維特征矩陣輸入至所述全連接層計算之后，基于所述損失函數計算交叉熵損失值；

使用梯度下降的反向傳播算法，調整所述編碼網絡、解碼網絡以及分類網絡的網絡參數，以最小化所述交叉熵損失值；

當迭代訓練之后，所述交叉熵損失值不再下降時，模型收斂得到訓練完成的所述的喚醒模型以及降噪模型。

4.根據權利要求1所述的模型聯(lián)合訓練方法，其特征在于，所述音頻訓練數據包括正樣本音頻以及負樣本音頻；

所述構建音頻訓練數據的第一聲學特征矩陣的步驟之前，包括：

獲取噪聲語音，作為所述負樣本音頻；

獲取純凈喚醒語音；其中，所述純凈喚醒語音為不帶噪聲且攜帶有喚醒詞的純凈語音；

按照預設的信噪比，將所述純凈喚醒語音與所述噪聲語音進行混合，得到帶噪的喚醒語音，作為所述正樣本音頻。

5.一種模型聯(lián)合訓練裝置，其特征在于，包括：

構建單元，用于構建音頻訓練數據的第一聲學特征矩陣；

第一編碼單元，用于將所述第一聲學特征矩陣輸入至編碼網絡得到第一高維特征矩陣；

解碼單元，用于將所述第一高維特征矩陣輸入至解碼網絡得到第二聲學特征矩陣；

第二編碼單元，用于將所述第二聲學特征矩陣輸入至所述編碼網絡得到第二高維特征矩陣；

訓練單元，用于將所述第一高維特征矩陣以及第二高維特征矩陣分別輸入至分類網絡中，并基于反向傳播算法，調整所述編碼網絡、解碼網絡以及分類網絡的網絡參數，得到訓練完成的喚醒模型以及降噪模型；其中，所述編碼網絡與所述分類網絡構成喚醒模型，所述編碼網絡與所述解碼網絡構成降噪模型。

6.根據權利要求5所述的模型聯(lián)合訓練裝置，其特征在于，所述分類網絡包括全連接層以及softmax函數，所使用的損失函數是交叉熵損失函數。

7.根據權利要求6所述的模型聯(lián)合訓練裝置，其特征在于，所述訓練單元，具體用于：

將所述第一高維特征矩陣以及第二高維特征矩陣輸入至所述全連接層計算之后，基于所述損失函數計算交叉熵損失值；

使用梯度下降的反向傳播算法，調整所述編碼網絡、解碼網絡以及分類網絡的網絡參數，以最小化所述交叉熵損失值；

當迭代訓練之后，所述交叉熵損失值不再下降時，模型收斂得到訓練完成的所述的喚醒模型以及降噪模型。

8.根據權利要求5所述的模型聯(lián)合訓練裝置，其特征在于，所述音頻訓練數據包括正樣本音頻以及負樣本音頻；所述裝置還包括：

第一獲取單元，用于獲取噪聲語音，作為所述負樣本音頻；

第二獲取單元，用于獲取純凈喚醒語音；其中，所述純凈喚醒語音為不帶噪聲且攜帶有喚醒詞的純凈語音；

混合單元，用于按照預設的信噪比，將所述純凈喚醒語音與所述噪聲語音進行混合，得到帶噪的喚醒語音，作為所述正樣本音頻。