[發明專利]喚醒詞聲紋識別方法、喚醒詞聲紋識別模型及其訓練方法

在審

• 申請號: 202011282426.2
• 申請日: 2020-11-17
• 公開（公告）號: CN112382298A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 歐陽鵬;劉玲
• 申請（專利權）人: 北京清微智能科技有限公司
• 主分類號: G10L17/02
• 分類號: G10L17/02;G10L17/04;G10L17/18;G10L17/14
• 代理公司: 北京索睿邦知識產權代理有限公司 11679
• 代理人: 李根

1.喚醒詞聲紋識別模型的訓練方法，其特征在于，包括

步驟S101，根據播放幀正向順序及設定截取幀長截取語音訓練數據，獲取前向語音特征系列；根據播放幀反向順序及設定截取幀長截取語音訓練數據，獲取后向語音特征系列；所述語音訓練數據包括多段具有喚醒詞語音的語音訓練數據；

所述前向語音特征系列包括多個連續且依次排列的前向語音特征單元；所述后向語音特征系列包括多個連續且依次排列的后向語音特征單元；

步驟S102，建立一個第一嵌入層識別網絡且接收所述前向語音特征系列及所述后向語音特征系列；所述第一嵌入層識別網絡包括：

一個說話人嵌入提取器，其包括TDNN時延神經網絡中的輸入層和隱含層的結構；所述說話人嵌入提取器通過TDNN時延神經網絡中的輸入層和隱含層識別所述前向語音特征系列及所述后向語音特征系列獲取語音訓練數據的說話人特征識別權重值；

一個第一池化層，其池化所述說話人特征識別權重值；

一個第一全連接層，其全連接所述池化后的說話人特征識別權重值，獲取說話人嵌入層輸出特征值；

步驟S103，建立一個第二嵌入層識別網絡且接收所述前向語音特征系列及所述后向語音特征系列；所述第二嵌入層識別網絡包括：

一個文本嵌入提取器，其通過TDNN時延神經網絡中的輸入層和隱含層識別所述前向語音特征系列及所述后向語音特征系列獲取語音訓練數據的文本特征識別權重值；

一個第二池化層，其池化所述文本特征識別權重值；

一個第二全連接層，其全連接所述池化后的文本特征識別權重值，獲取文本嵌入層輸出特征值；

步驟S104，合并所述說話人嵌入層輸出特征值及所述文本嵌入層輸出特征值，獲取聯合語音嵌入層輸出特征；

步驟S105，建立一個組合網絡；通過所述組合網絡全連接所述聯合語音嵌入層輸出特征獲取當前聯合識別權重值；

步驟S106，判斷所述當前聯合識別權重值是否為設定訓練權重值，若是，則保留所述第一嵌入層識別網絡、所述第一嵌入層識別網絡及所述組合網絡中的控制參數，若否，則全連接所述當前聯合識別權重值獲取說話人分類權重信息及文本分類權重信息；根據說話人分類權重信息及文本分類權重信息，分別調整所對應的第一嵌入層識別網絡和所述第二嵌入層識別網絡。

2.根據權利要求1所述的訓練方法，其特征在于，所述第一嵌入層識別網絡中還包括：一個第一分類全連接層，其全連接所述說話人嵌入層輸出特征值，獲取嵌入層輸出說話人分類權重信息。

3.根據權利要求2所述的訓練方法，其特征在于，所述第二嵌入層識別網絡中還包括：一個第二分類全連接層，其全連接所述文本嵌入層輸出特征值，獲取嵌入層輸出文本分類信息。

4.根據權利要求3所述的訓練方法，其特征在于，在所述步驟S106中還包括：

判斷所述嵌入層輸出說話人分類權重信息是否小于說話人分類權重信息，若是，則調整所述組合網絡中的控制參數；若否，則調整所述第一嵌入層識別網絡的控制參數；

判斷所述嵌入層輸出文本分類信息是否小于文本分類權重信息，若是，則調整所述組合網絡中的控制參數；若否，則調整所述第二嵌入層識別網絡的控制參數。