[發明專利]語音喚醒混合模型的訓練方法、使用方法和相關設備

有效

• 申請號: 202011068831.4
• 申請日: 2020-10-09
• 公開（公告）號: CN111933114B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 王維;王廣新;太榮鵬
• 申請（專利權）人: 深圳市友杰智新科技有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/14;G10L15/16;G10L15/22;G10L25/78;G06N3/08
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;宋慶洪

1.一種語音喚醒混合模型的訓練方法，其特征在于，包括：

獲取預處理樣本集，所述預處理樣本集包含多個干凈喚醒樣本和帶噪樣本；

將各所述干凈喚醒樣本和各所述帶噪樣本的log功率譜特征輸入語音分離網絡，得到第一損失函數和分離輸出；

使用特征變換網絡對所述分離輸出進行特征提取，得到聲學特征；

將所述聲學特征和所述干凈喚醒樣本的幀標簽輸入喚醒詞檢測網絡，得到第二損失函數；

根據所述第一損失函數和第二損失函數計算得到綜合損失函數；

使用所述綜合損失函數進行反向傳播，分別訓練得到所述語音分離網絡、所述特征變換網絡和所述喚醒詞檢測網絡的權值參數，以完成所述語音喚醒混合模型的訓練。

2.根據權利要求1所述的語音喚醒混合模型的訓練方法，其特征在于，所述獲取預處理樣本集的步驟，包括：

獲取干凈喚醒樣本集，所述干凈喚醒樣本集包含多個所述干凈喚醒樣本；

對各所述干凈喚醒樣本進行隨機信噪比加噪和/或加混響，得到多個帶噪樣本；

綜合所述干凈喚醒樣本和所述帶噪樣本，得到所述預處理樣本集。

3.根據權利要求2所述的語音喚醒混合模型的訓練方法，其特征在于，所述將各所述干凈喚醒樣本和各所述帶噪樣本的log功率譜特征輸入語音分離網絡，得到第一損失函數和分離輸出的步驟，包括：

對各所述干凈喚醒樣本和各所述帶噪樣本分別進行短時傅里葉變換，得到各所述干凈喚醒樣本的干凈log功率譜和各所述帶噪樣本的帶噪log功率譜；

將各所述干凈log功率譜和各所述帶噪log功率譜輸入所述語音分離網絡，得到所述第一損失函數和所述分離輸出。

4.根據權利要求1所述的語音喚醒混合模型的訓練方法，其特征在于，所述干凈喚醒樣本包含喚醒詞，所述將所述聲學特征和所述干凈喚醒樣本的幀標簽輸入喚醒詞檢測網絡，得到第二損失函數的步驟，包括：

使用VAD和GMM-HMM將所述干凈喚醒樣本中的語音幀和對應的標簽進行對齊；

在對齊后的所述干凈喚醒樣本中，將所述喚醒詞結束后的預設幀的標簽設置為1，其余幀的標簽設置為0，得到所述干凈喚醒樣本的幀標簽；

將所述聲學特征和所述幀標簽輸入喚醒詞檢測網絡，計算得到第二損失函數。

5.根據權利要求1所述的語音喚醒混合模型的訓練方法，其特征在于，所述根據所述第一損失函數和第二損失函數計算得到綜合損失函數的步驟，包括：

將所述第一損失函數和所述第二損失函數代入預設公式中，加權計算得到所述綜合損失函數，其中，所述預設公式為：,S₁為所述第一損失函數，S₂為所述第二損失函數，S₃為所述綜合損失函數，Z₁為第一權重，Z₂為第二權重。

6.一種語音喚醒混合模型的使用方法，其特征在于，所述語音喚醒混合模型為所述權利要求1至5中任一所述的訓練方法得到的語音喚醒混合模型，所述使用方法包括：

獲取待識別音頻；

將所述待識別音頻輸入所述語音喚醒混合模型內，得到喚醒概率；

判斷所述喚醒概率是否大于閾值；

若所述喚醒概率大于閾值，則判定從所述待識別音頻中識別到喚醒詞。

7.根據權利要求6所述的語音喚醒混合模型的使用方法，其特征在于，所述判定從所述待識別音頻中識別到喚醒詞的步驟之后，包括：

輸出喚醒信息，并根據所述喚醒信息執行對應的動作。