[發明專利]發音檢測方法及相關裝置、電子設備、存儲介質

在審

• 申請號: 202211429640.5
• 申請日: 2022-11-15
• 公開（公告）號: CN115910108A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 韓凱;盛志超
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L25/60
• 分類號: G10L25/60;G10L25/03
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 柳芳

1.一種發音檢測方法，其特征在于，包括：

獲取受測對象朗讀目標文本所采集到的測試語音，并獲取目標文本進行音素轉換所得到的音素序列；其中，所述測試語音包含若干音頻幀；

提取所述音素序列中各個音素的音素特征，得到第一音素特征序列，并確定多種下采樣率；

對于各種所述下采樣率，基于所述下采樣率對所述若干音頻幀進行編碼，得到對應所述下采樣率的韻律特征序列；

對于各種所述下采樣率分別對應的韻律特征序列，基于所述第一音素特征序列與所述韻律特征序列進行融合，得到第二音素特征序列；

基于各個所述第二音素特征序列進行預測，得到所述測試語音的發音分值。

2.根據權利要求1所述的方法，其特征在于，在所述基于各個所述第二音素特征序列進行預測，得到所述測試語音的發音分值之前，所述方法還包括：

基于各個所述音頻幀的聲學特征進行編碼，得到內容特征序列；

基于所述第一音素特征序列與所述內容特征序列進行融合，得到第三音素特征序列；

所述基于各個所述第二音素特征序列進行預測，得到所述測試語音的發音分值，包括：

基于各個所述第二音素特征序列和所述第三音素特征序列進行預測，得到所述測試語音的發音分值。

3.根據權利要求2所述的方法，其特征在于，所述基于各個所述第二音素特征序列和所述第三音素特征序列進行預測，得到所述測試語音的發音分值，包括：

將各個所述第二音素特征序列和所述第三音素特征序列中屬于相同音素的音素特征進行融合，得到對應所述音素的融合特征；

基于所述音素的融合特征進行預測，得到所述音素的發音分值；

基于各個所述音素的發音分值進行數值統計，得到所述測試語音的發音分值。

4.根據權利要求2所述的方法，其特征在于，所述內容特征序列由聲學編碼器對所述聲學特征進行編碼得到，所述聲學編碼器的訓練步驟包括：

獲取第一樣本語音；其中，所述第一樣本語音標注有樣本音素序列，且所述樣本語音包含若干第一樣本音頻幀；

基于所述聲學編碼器對各個所述第一樣本音頻幀的聲學特征進行編碼，得到樣本內容特征序列；

基于所述樣本內容特征序列進行預測，得到預測音素序列；

基于所述樣本音素序列與所述預測音素序列之間的差異，調整所述聲學編碼器的網絡參數。

5.根據權利要求1所述的方法，其特征在于，對應于不同所述下采樣率的韻律特征序列分別由對應所述下采樣率的韻律編碼器對所述若干音頻幀進行編碼得到，所述韻律編碼器基于第二樣本語音采用對比預測編碼的方式訓練得到，所述第二樣本語音包括若干第二樣本音頻幀。

6.根據權利要求5所述的方法，其特征在于，所述韻律編碼器在采用所述對比預測編碼的方式進行訓練過程中，正例編碼特征的獲取步驟包括：

選擇所述第二樣本音頻幀作為錨點樣本音頻幀；其中，所述錨點樣本音頻幀及其之前的第二樣本音頻幀由所述韻律編碼器中正向編碼網絡進行編碼，所述錨點樣本音頻幀之后的第二樣本音頻幀由所述韻律編碼器中反向編碼網絡進行編碼；

選擇所述錨點樣本音頻幀之后目標幀數內所述第二樣本音頻幀經所述反向編碼網絡編碼得到的樣本編碼特征，作為正例編碼特征；

其中，所述目標幀數為所述韻律編碼器下采樣時所采用的倍率。

7.根據權利要求5所述的方法，其特征在于，所述韻律編碼器在采用所述對比預測編碼的方式進行訓練過程中，負例編碼特征的獲取步驟包括：

選擇所述第二樣本音頻幀作為錨點樣本音頻幀；其中，所述錨點樣本音頻幀及其之前的第二樣本音頻幀由所述韻律編碼器中正向編碼網絡進行編碼，所述錨點樣本音頻幀之后的第二樣本音頻幀由所述韻律編碼器中反向編碼網絡進行編碼；

選擇所述錨點樣本音頻幀之后目標幀數后所述第二樣本音頻幀經所述反向編碼網絡編碼得到的樣本編碼特征，作為負例編碼特征；

其中，所述目標幀數為所述韻律編碼器下采樣時所采用的倍率。