[發明專利]語音識別模型訓練方法、裝置、設備及存儲介質

有效

• 申請號: 202110654093.X
• 申請日: 2021-06-11
• 公開（公告）號: CN113327594B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 李作強;楊嵩;林連志
• 申請（專利權）人: 北京世紀好未來教育科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 張通

1.一種語音識別模型訓練方法，其特征在于，包括：

獲取樣本語音中各個分幀的頻域特征向量，根據所述頻域特征向量得到第一聲學特征矩陣；

采用Wavenet前向網絡處理所述第一聲學特征矩陣，得到第二聲學特征矩陣；以及，采用第一循環神經網絡處理所述第二聲學特征矩陣，得到第三聲學特征矩陣；

獲取所述樣本語音對應文本中各個單詞的詞向量，根據所述詞向量得到第一文本特征矩陣；以及，采用第二循環神經網絡處理所述第一文本特征矩陣，得到第二文本特征矩陣；

組合所述第三聲學特征矩陣和所述第二文本特征矩陣，得到組合矩陣；以及，采用聯合網絡處理所述組合矩陣得到輸出矩陣；

根據所述樣本語音對應的文本和所述輸出矩陣，對所述語音識別模型進行訓練。

2.根據權利要求1所述的方法，其特征在于，

所述語音識別模型包括所述Wavenet前向網絡、所述第一循環神經網絡、所述第二循環神經網絡和所述聯合網絡；

所述對所述語音識別模型進行訓練，包括：對所述Wavenet前向網絡、所述第一循環神經網絡、所述第二循環神經網絡和所述聯合網絡進行聯合訓練。

3.根據權利要求1所述的方法，其特征在于，

在采用Wavenet前向網絡處理所述第一聲學特征矩陣前，還包括：采用卷積運算模塊處理所述第一聲學特征矩陣，得到第四聲學特征矩陣；

所述采用Wavenet前向網絡處理所述第一聲學特征矩陣，得到第二聲學特征矩陣，包括：采用所述Wavenet前向網絡處理所述第四聲學特征矩陣，得到所述第二聲學特征矩陣。

4.根據權利要求3所述的方法，其特征在于，所述采用卷積運算模塊處理所述第一聲學特征矩陣，得到第四聲學特征矩陣，包括：

采用深度可分離卷積模塊處理所述第一聲學特征矩陣，得到所述第四聲學特征矩陣。

5.根據權利要求1或2所述的方法，其特征在于，

所述第一循環神經網絡和/或所述第二循環神經網絡為具有動態殘差連接的循環神經網絡。

6.根據權利要求5所述的方法，其特征在于，

所述第一循環神經網絡和/或所述第二循環神經網絡為具有投影層的長短期記憶網絡。

7.一種語音識別模型訓練裝置，其特征在于，包括：

語音特征獲取單元，用于獲取樣本語音中各個分幀的頻域特征向量，根據所述頻域特征向量得到第一聲學特征矩陣；

語音特征處理單元，用于采用Wavenet前向網絡處理所述第一聲學特征矩陣，得到第二聲學特征矩陣，以及，采用第一循環神經網絡處理所述第二聲學特征矩陣，得到第三聲學特征矩陣；

文本特征獲取單元，用于獲取所述樣本語音對應文本中各個單詞的詞向量，根據所述詞向量得到第一文本特征矩陣；

文本特征處理單元，用于采用第二循環神經網絡處理所述第一文本特征矩陣，得到第二文本特征矩陣；

聯合處理單元，用于組合所述第三聲學特征矩陣和所述第二文本特征矩陣，得到組合矩陣；以及，采用聯合網絡處理所述組合矩陣得到輸出矩陣；

訓練單元，用于根據所述樣本語音對應的文本和所述輸出矩陣，對所述語音識別模型進行訓練。

8.根據權利要求7所述的裝置，其特征在于，

所述語音識別模型包括所述Wavenet前向網絡、所述第一循環神經網絡、所述第二循環神經網絡和所述聯合網絡；

所述訓練單元對所述語音識別模型進行訓練，包括：所述Wavenet前向網絡、所述第一循環神經網絡、所述第二循環神經網絡和所述聯合網絡進行聯合訓練。

9.根據權利要求7所述的裝置，其特征在于，還包括：

卷積運算單元，用于采用卷積運算處理所述第一聲學特征矩陣，得到第四聲學特征矩陣；

所述語音特征處理單元采用Wavenet前向網絡處理所述第一聲學特征矩陣，得到第二聲學特征矩陣，包括：采用所述Wavenet前向網絡處理所述第四聲學特征矩陣，得到所述第二聲學特征矩陣。