[發明專利]一種聲學模型訓練方法、裝置、終端設備及存儲介質

在審

• 申請號: 202110651207.5
• 申請日: 2021-06-10
• 公開（公告）號: CN113327578A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 郭洋;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L25/30
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 路亞芳

1.一種聲學模型訓練方法，其特征在于，包括：

將訓練語音分別輸入語句編碼模塊和音素編碼模塊；

通過所述語句編碼模塊提取所述訓練語音的n個語句向量，獲取所述訓練語音的語句特征；其中，一個語句向量包括多個單詞向量，n為大于或等于1的整數；

通過所述音素編碼模塊提取所述訓練語音的n段音素向量，獲取所述訓練語音的音素特征，所述n段音素向量與所述n個語句向量一一對應；

將所述n個語句向量和所述n段音素向量輸入聲學建模模塊，獲取所述訓練語音的聲學信息，所述聲學信息包括將所述n個語句特征和所述n段音素特征進行相加的聲學特征；

將所述訓練語音的聲學信息輸入解碼模塊，獲取所述訓練語音的聲譜圖；

根據所述訓練語音和所述訓練語音的聲譜圖，更新所述解碼模塊的參數。

2.如權利要求1所述的聲學模型訓練方法，其特征在于，所述通過所述語句編碼模塊提取所述訓練語音的n個語句向量，獲取所述訓練語音的語句特征，包括：

通過所述語句編碼模塊以語句為單位獲取所述訓練語音的局部時頻特征以及所述局部時頻特征的隱性時序特征，所述n個語句向量包括局部時頻特征以及所述局部時頻特征的隱性時序特征。

3.如權利要求2所述的聲學模型訓練方法，其特征在于，所述語句編碼模塊包括第一卷積神經網絡單元和第一門控循環單元；

通過所述語句編碼模塊以語句為單位獲取所述訓練語音的局部時頻特征以及所述局部時頻特征的隱性時序特征，包括：

通過所述第一卷積神經網絡單元以語句為單位獲取所述訓練語音的局部時頻特征，并通過所述第一門控循環單元以語句為單位獲取所述局部時頻特征的隱性時序特征。

4.如權利要求1所述的聲學模型訓練方法，其特征在于，所述通過所述音素編碼模塊提取所述訓練語音的n段音素向量，獲取所述訓練語音的音素特征，包括：

通過所述音素編碼模塊以音素為單位獲取所述訓練語音的局部時頻特征以及所述局部時頻特征的隱性時序特征，所述n個音素向量包括局部時頻特征以及所述局部時頻特征的隱性時序特征。

5.如權利要求4所述的聲學模型訓練方法，其特征在于，所述音素編碼模塊包括第二卷積神經網絡單元和第二門控循環單元；

所述通過所述音素編碼模塊以音素為單位提取所述訓練語音的局部時頻特征以及所述局部時頻特征的隱性時序特征，包括：

通過所述第二卷積神經網絡單元以音素為單位獲取所述訓練語音的局部時頻特征，并通過所述第二門控循環單元以音素為單位獲取所述局部時頻特征的隱性時序特征。

6.如權利要求1所述的聲學模型訓練方法，其特征在于，所述將所述n個語句向量和所述n段音素向量輸入聲學建模模塊，獲取所述訓練語音的聲學信息之前，包括：

通過位置編碼模塊提取所述訓練語音的序列位置信息，獲取所述n個語音向量的序列位置信息和所述n段音素向量的序列位置信息；

所述將所述n個語句向量和所述n段音素向量輸入聲學建模模塊，獲取所述訓練語音的聲學信息之后，包括：

通過差異適配模塊獲取所述訓練語音的音高特征和時長特征并更新所述訓練語音的聲學信息。

7.如權利要求1至6任一項所述的聲學模型訓練方法，其特征在于，所述解碼模塊包括梅爾譜解碼單元和線性層單元，所述聲譜圖包括梅爾譜；

所述將所述訓練語音的聲學信息輸入解碼模塊，獲取所述訓練語音的聲譜圖，包括：

通過梅爾譜解碼單元對所述訓練語音的聲學信息進行解碼，并將解碼后的聲學信息輸入線性層，以生成梅爾譜圖；

所述根據所述訓練語音和所述訓練語音的聲譜圖，更新所述解碼模塊的參數，包括：

通過損失函數計算所述梅爾譜圖和所述訓練語音的誤差，并根據所述誤差更新所述梅爾譜解碼單元和所述線性層的參數。