[發明專利]語音喚醒混合模型的訓練方法、使用方法和相關設備

有效

• 申請號: 202011068831.4
• 申請日: 2020-10-09
• 公開（公告）號: CN111933114B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 王維;王廣新;太榮鵬
• 申請（專利權）人: 深圳市友杰智新科技有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/14;G10L15/16;G10L15/22;G10L25/78;G06N3/08
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;宋慶洪

本申請提供了一種語音喚醒混合模型的訓練方法、使用方法和相關設備，模型訓練時，通過語音分離網絡、特征變換網絡和喚醒詞檢測網絡混合學習訓練得到語音喚醒混合模型。模型在使用時，將待識別音頻輸入語音喚醒混合模型內，直接得到喚醒概率。在喚醒概率大于閾值時，判定從待識別音頻中識別到喚醒詞。本申請在模型訓練過程中，通過語音分離網絡得到的第一損失函數、喚醒詞檢測網絡得到的第二損失函數加權得到綜合損失函數，并據此反向傳播，學習得到語音分離網絡、特征變換網絡和喚醒詞檢測網絡各自的權值參數。同時，本申請將上述各個網絡統一到一個框架中，用聯合優化的方法，使模型能同時學習到最優的分離和喚醒網絡參數，有效提高喚醒率。

技術領域

本申請涉及語音喚醒技術領域，特別涉及一種語音喚醒混合模型的訓練方法、使用方法和相關設備。

背景技術

現有的語音喚醒技術中，有基于傳統GMM-HMM（高斯混合模型-隱馬爾可夫模型）的方法，利用單音素或者三音素作為HMM（隱馬爾可夫模型）隱藏狀態，在得到聲音序列信號后，通過解碼得到最優的狀態序列，來判斷語音信號中是否有目標關鍵詞，該方法實現復雜，同時需要樣本有詳細標注信息，數據獲取成本高，且效果并不理想，對集外詞拒識差；另外一些基于DNN（深度神經網絡）的端到端方法，實現流程較簡單，效果比傳統方法好，但是模型一般比較大，無法在端側設備上部署，而模型較小時，對不完整的喚醒詞誤喚醒率較高，在噪聲環境下的喚醒率低。

發明內容

本申請的主要目的為提供一種語音喚醒混合模型的訓練方法、使用方法和相關設備，旨在解決現有語音喚醒技術的復雜度較高、喚醒率低的弊端。

為實現上述目的，本申請提供了一種語音喚醒混合模型的訓練方法，包括：

獲取預處理樣本集，所述預處理樣本集包含多個干凈喚醒樣本和帶噪樣本；

將各所述干凈喚醒樣本和各所述帶噪樣本的log功率譜特征輸入語音分離網絡，得到第一損失函數和分離輸出；

使用特征變換網絡對所述分離輸出進行特征提取，得到聲學特征；

將所述聲學特征和所述干凈喚醒樣本的幀標簽輸入喚醒詞檢測網絡，得到第二損失函數；

根據所述第一損失函數和第二損失函數計算得到綜合損失函數；

使用所述綜合損失函數進行反向傳播，分別訓練得到所述語音分離網絡、所述特征變換網絡和所述喚醒詞檢測網絡的權值參數，以完成所述語音喚醒混合模型的訓練。

進一步的，所述獲取預處理樣本集的步驟，包括：

獲取干凈喚醒樣本集，所述干凈喚醒樣本集包含多個所述干凈喚醒樣本；

對各所述干凈喚醒樣本進行隨機信噪比加噪和/或加混響，得到多個帶噪樣本；

綜合所述干凈喚醒樣本和所述帶噪樣本，得到所述預處理樣本集。

進一步的，所述將各所述干凈喚醒樣本和各所述帶噪樣本的log功率譜特征輸入語音分離網絡，得到第一損失函數和分離輸出的步驟，包括：

對各所述干凈喚醒樣本和各所述帶噪樣本分別進行短時傅里葉變換，得到各所述干凈喚醒樣本的干凈log功率譜和各所述帶噪樣本的帶噪log功率譜；

將各所述干凈log功率譜和各所述帶噪log功率譜輸入所述語音分離網絡，得到所述第一損失函數和所述分離輸出。

進一步的，所述干凈喚醒樣本包含喚醒詞，所述將所述聲學特征和所述干凈喚醒樣本的幀標簽輸入喚醒詞檢測網絡，得到第二損失函數的步驟，包括：

使用VAD和GMM-HMM將所述干凈喚醒樣本中的語音幀和對應的標簽進行對齊；