[發明專利]一種聲學模型的訓練方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010159178.6
• 申請日: 2020-03-09
• 公開（公告）號: CN111383628B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 王靖淞;涂威威
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L15/14;G10L25/30
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 郭鑫

1.一種聲學模型的訓練方法，其特征在于，所述聲學模型由神經網絡模型訓練得到，所述神經網絡模型包括用于時序處理的多層第一神經網絡和用于輸出狀態的第二神經網絡，所述方法包括：

獲取語音數據；

提取所述語音數據的特征，得到多幀特征數據，其中，每幀特征數據包括多維度；

基于所述多幀特征數據確定訓練樣本數據；

基于所述訓練樣本數據訓練所述多層第一神經網絡和所述第二神經網絡，得到聲學模型，包括：將所述訓練樣本數據輸入第一層第一神經網絡；將至少一層第一神經網絡的原始輸出進行權重計算，得到帶有權重的輸出；將最后一層第一神經網絡的輸出轉換為一維數據；將所述一維數據輸入所述第二神經網絡；

其中，至少一層所述第一神經網絡的輸出為帶有權重的輸出，所述權重為信道注意力，所述信道為每幀特征數據的維度。

2.根據權利要求1所述的方法，其特征在于，提取所述語音數據的特征包括：

對所述語音數據進行采樣，得到多個采樣數據；

基于預設時間窗，以預設時間間隔滑動，對每個時間窗內的所有采樣數據進行特征提取。

3.根據權利要求1所述的方法，其特征在于，基于所述多幀特征數據確定訓練樣本數據包括：

基于所述多幀特征數據對所述語音數據進行對齊標注訓練，得到對齊標注結果；

基于所述對齊標注結果確定訓練樣本數據。

4.根據權利要求1所述的方法，其特征在于，將至少一層第一神經網絡的原始輸出進行權重計算，得到帶有權重的輸出包括：

以所述原始輸出的每一幀的維度為信道，將所述原始輸出的每個信道的數據進行池化處理，得到信道向量；

基于所述信道向量計算信道注意力；

基于所述信道注意力和所述原始輸出，得到帶有權重的輸出。

5.根據權利要求4所述的方法，其特征在于，將所述原始輸出的每個信道的數據進行池化處理包括：

將所述原始輸出的所有幀在同一信道的數據進行池化處理，得到所述原始輸出對應的信道向量；相應地，所述信道注意力為全局注意力。

6.根據權利要求4所述的方法，其特征在于，將所述原始輸出的每個信道的數據進行池化處理包括：

將所述原始輸出的每幀周圍預設幀在每個信道的數據進行池化處理，得到所述原始輸出的每幀對應的信道向量；相應地，所述信道注意力為局部注意力。

7.根據權利要求6所述的方法，其特征在于，所述每幀周圍預設幀的數量大于下一層第一神經網絡的幀提取范圍。

8.一種聲學模型的訓練裝置，其特征在于，所述聲學模型由神經網絡模型訓練得到，所述神經網絡模型包括用于時序處理的多層第一神經網絡和用于輸出狀態的第二神經網絡，所述裝置包括：

獲取模塊，用于獲取語音數據；

提取模塊，用于提取所述語音數據的特征，得到多幀特征數據，其中，每幀特征數據包括多維度；

確定模塊，用于基于所述多幀特征數據確定訓練樣本數據；

訓練模塊，用于基于所述訓練樣本數據訓練所述多層第一神經網絡和所述第二神經網絡，得到聲學模型，包括：將所述訓練樣本數據輸入第一層第一神經網絡；將至少一層第一神經網絡的原始輸出進行權重計算，得到帶有權重的輸出；將最后一層第一神經網絡的輸出轉換為一維數據；將所述一維數據輸入所述第二神經網絡；

其中，至少一層所述第一神經網絡的輸出為帶有權重的輸出，所述權重為信道注意力，所述信道為每幀特征數據的維度。

9.根據權利要求8所述的裝置，其特征在于，所述提取模塊，具體用于：

對所述語音數據進行采樣，得到多個采樣數據；

基于預設時間窗，以預設時間間隔滑動，對每個時間窗內的所有采樣數據進行特征提取。