[發明專利]語音模型訓練方法、裝置和電子設備

有效

• 申請號: 202110377725.2
• 申請日: 2021-04-08
• 公開（公告）號: CN113096647B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 陳孝良;馮大航;曹藝
• 申請（專利權）人: 北京聲智科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;黃燦

1.一種語音模型訓練方法，其特征在于，包括：

獲取訓練數據集；

將所述訓練數據集中的訓練語音數據，分別輸入初始喚醒模型和預先訓練好的語音識別模型中，得到所述初始喚醒模型的第一輸出數據和所述語音識別模型的第二輸出數據，其中，所述初始喚醒模型的建模單元為三音素單狀態，所述語音識別模型的建模單元為三音素三狀態，同一三音素對應的三狀態和單狀態之間存在映射關系，所述初始喚醒模型與所述語音識別模型除建模單元外的其他部分結構相同；

根據所述第一輸出數據、所述第二輸出數據和所述訓練語音數據中的標注數據，計算模型訓練損失值；

基于所述模型訓練損失值，對所述初始喚醒模型的模型參數進行調節，以使所述初始喚醒模型趨于收斂，得到訓練好的喚醒模型；

其中，所述根據所述第一輸出數據、所述第二輸出數據和所述訓練語音數據中的標注數據，計算模型訓練損失值，包括：

計算所述第一輸出數據與所述第二輸出數據的第一相對熵；

計算所述第一輸出數據與所述訓練語音數據中的標注數據的第一交叉熵；

將所述第一相對熵與所述第一交叉熵進行加權求和，得到所述模型訓練損失值；

其中，所述計算所述第一輸出數據與所述第二輸出數據的第一相對熵，包括：

將所述第二輸出數據中包括的三個狀態的概率值進行求和，得到第一和值；

計算所述第一輸出數據與所述第一和值的第一相對熵。

2.根據權利要求1所述的方法，其特征在于，所述初始喚醒模型的建模規則包括以下至少一項：

對于喚醒詞中的音素，根據音素的上下文進行建模，其中，上下文不同的音素采用不同狀態建模；

對于非喚醒詞中的音素，使用第一預設詞建模；

對于語音中的靜音片段，使用第二預設詞建模。

3.根據權利要求1所述的方法，其特征在于，所述訓練數據集包括喚醒詞數據集和語音識別數據集，所述語音識別數據集為所述語音識別模型的訓練數據。

4.一種語音模型訓練裝置，其特征在于，包括：

獲取模塊，用于獲取訓練數據集；

輸入模塊，用于將所述訓練數據集中的訓練語音數據，分別輸入初始喚醒模型和預先訓練好的語音識別模型中，得到所述初始喚醒模型的第一輸出數據和所述語音識別模型的第二輸出數據，其中，所述初始喚醒模型的建模單元為三音素單狀態，所述語音識別模型的建模單元為三音素三狀態，同一三音素對應的三狀態和單狀態之間存在映射關系，所述初始喚醒模型與所述語音識別模型除建模單元外的其他部分結構相同；

計算模塊，用于根據所述第一輸出數據、所述第二輸出數據和所述訓練語音數據中的標注數據，計算模型訓練損失值；

參數調節模塊，用于基于所述模型訓練損失值，對所述初始喚醒模型的模型參數進行調節，以使所述初始喚醒模型趨于收斂，得到訓練好的喚醒模型；

其中，所述計算模塊包括：

第一計算單元，用于計算所述第一輸出數據與所述第二輸出數據的第一相對熵；

第二計算單元，用于計算所述第一輸出數據與所述訓練語音數據中的標注數據的第一交叉熵；

第三計算單元，用于將所述第一相對熵與所述第一交叉熵進行加權求和，得到所述模型訓練損失值；

其中，所述第一計算單元包括：

第一計算子單元，用于將所述第二輸出數據中包括的三個狀態的概率值進行求和，得到第一和值；

第二計算子單元，用于計算所述第一輸出數據與所述第一和值的第一相對熵。

5.一種電子設備，其特征在于，包括處理器，存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如權利要求1-3中任一項所述的語音模型訓練方法的步驟。

6.一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲程序或指令，所述程序或指令被處理器執行時實現如權利要求1-3中任一項所述的語音模型訓練方法的步驟。