[發明專利]一種基于音素的口語評測方法、裝置及電子設備

有效

• 申請號: 202110441338.0
• 申請日: 2021-04-23
• 公開（公告）號: CN112863486B
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 龐永強;袁佳藝;王丹;汪巍;丁文雪;莫貴明;楊熙;饒豐
• 申請（專利權）人: 北京一起教育科技有限責任公司
• 主分類號: G10L15/01
• 分類號: G10L15/01;G10L15/02;G10L15/06;G10L15/10
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李偉

1.一種基于音素的口語評測方法，其特征在于，包括：

設置評測模型，所述評測模型包括編碼子模型、對齊輸出子模型和識別輸出子模型；所述編碼子模型用于將輸入數據編碼為特征向量，所述對齊輸出子模型用于根據所述特征向量確定相應的音素對齊信息，所述識別輸出子模型用于根據所述特征向量和所述音素對齊信息確定所述輸入數據中每個音素的識別結果；

對所述編碼子模型和所述對齊輸出子模型進行訓練，之后，在保持所述編碼子模型的參數不變的情況下，所述識別輸出子模型與所述對齊輸出子模型共享所述編碼子模型的參數，對所述識別輸出子模型進行訓練，確定訓練后的評測模型；

獲取待識別的目標語音數據以及與所述目標語音數據對應的跟讀文本，將所述目標語音數據輸入至所述評測模型，確定所述目標語音數據的特征向量和音素對齊信息，并基于所述識別輸出子模型確定所述目標語音數據中每個音素的識別結果；

根據所述跟讀文本和所述目標語音數據中每個音素的識別結果確定所述目標語音數據的評測結果；

其中，所述對所述編碼子模型和所述對齊輸出子模型進行訓練，之后，在保持所述編碼子模型不變的情況下，對所述識別輸出子模型進行訓練，包括：

獲取第一數據集，對所述第一數據集中的第一語音數據進行音素對齊，確定所述第一語音數據中每幀數據的標簽；

將所述第一數據集作為訓練集，將所述第一語音數據作為所述編碼子模型的輸入、將所述第一語音數據中每幀數據的標簽作為所述對齊輸出子模型的輸出，對所述編碼子模型和所述對齊輸出子模型進行訓練；

獲取第二數據集，對所述第二數據集的第二語音數據進行音素對齊，并確定所述第二語音數據對應的文本；所述第二語音數據為發音正確的數據，且所述第二語音數據的數量小于所述第一語音數據的數量；

將所述第二數據集作為訓練集，在保持所述編碼子模型不變的情況下，將所述第二語音數據作為所述編碼子模型的輸入、將所述第二語音數據對應的文本作為所述識別輸出子模型的輸出，對所述識別輸出子模型進行訓練。

2.根據權利要求1所述的方法，其特征在于，所述基于所述識別輸出子模型確定所述目標語音數據中每個音素的識別結果，包括：

將所述目標語音數據的特征向量輸入至所述識別輸出子模型進行前向計算，確定所述識別輸出子模型的輸出矩陣Y_rec，所述輸出矩陣Y_rec為幀數m×音素總維數n的矩陣；

根據目標語音數據的音素對齊信息確定所述目標語音數據中的每個音素，并確定音素i對齊區間內對于任意音素j的似然概率：

其中，表示音素i對齊區間的起始幀，表示音素i對齊區間的結束幀，表示輸出矩陣Y_rec中t_i幀、音素j對應的元素，j∈[1,n]。

3.根據權利要求1或2所述的方法，其特征在于，所述根據所述跟讀文本和所述目標語音數據中每個音素的識別結果確定所述目標語音數據的評測結果，包括：

為所述評測模型設置邏輯回歸子模型，基于所述邏輯回歸子模型對所述目標語音數據中每個音素的識別結果進行邏輯回歸處理，確定每個音素與所述跟讀文本相匹配的置信度；

根據每個音素的置信度確定所述目標語音數據的評測結果。

4.根據權利要求3所述的方法，其特征在于，所述基于所述邏輯回歸子模型對所述目標語音數據中每個音素的識別結果進行邏輯回歸處理，確定每個音素與所述跟讀文本相匹配的置信度，包括：

將所述目標語音數據中每個音素的識別結果輸入至所述邏輯回歸子模型，確定每個音素與所述跟讀文本相匹配的置信度：

其中，表示目標語音數據中音素i的置信度，表示音素i的似然概率向量，且，n為音素總維數；音素k為跟讀文本中與音素i所對應的音素，和為所述邏輯回歸子模型中與音素k相對應的權重系數；為邏輯回歸函數。