[發明專利]發音檢錯方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010713116.5
• 申請日: 2020-07-22
• 公開（公告）號: CN111833859A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 吳奎;吳子揚;竺博
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L15/20
• 分類號: G10L15/20;G10L15/08;G10L25/60
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明實施例提供一種發音檢錯方法、裝置、電子設備及存儲介質，所述方法包括：基于朗讀文本，對待檢錯的語音文件及其對應的發音視頻文件進行切分，得到朗讀文本包含的任一音素對應的語音片段和發音視頻片段；將該音素及其對應的語音片段和發音視頻片段輸入至發音檢錯模型，得到發音檢錯模型輸出的該音素的發音檢錯結果；發音檢錯模型用于基于語音片段的噪聲水平，對語音片段和發音視頻片段進行特征融合，并基于融合后的特征對該音素進行發音檢錯。本發明實施例提供的方法、裝置、電子設備及存儲介質，提高了發音檢錯方法的準確性和穩定性。

技術領域

本發明涉及智能語音技術領域，尤其涉及一種發音檢錯方法、裝置、電子設備及存儲介質。

背景技術

隨著計算機技術和語音識別技術的發展，計算機輔助發音學習(ComputerAssited Pronunciation Training，CAPT)成為智能語音技術領域的一個研究熱點。CAPT系統可以實現對學習者發音水平的自動評估，并對發音錯誤進行反饋和指導。

發音檢錯即檢測出用戶發音過程中的錯誤，是CAPT系統中的重要環節?，F有的發音檢錯方法僅利用單一的音頻信息，發音檢錯的準確性不穩定，特別是在噪聲及遠場環境中，由于受到噪聲和失真的影響，發音檢錯的準確性大幅度下降。

發明內容

本發明實施例提供一種發音檢錯方法、裝置、電子設備及存儲介質，用以解決現有技術中在噪聲及遠場環境中發音檢錯的準確率較低的缺陷，實現發音檢錯的穩定性和準確性的提高。

本發明實施例提供一種發音檢錯方法，包括：

基于朗讀文本，對待檢錯的語音文件及其對應的發音視頻文件進行切分，得到所述朗讀文本包含的任一音素對應的語音片段和發音視頻片段；

將所述任一音素及其對應的語音片段和發音視頻片段輸入至發音檢錯模型，得到所述發音檢錯模型輸出的所述任一音素的發音檢錯結果；

所述發音檢錯模型用于基于所述語音片段的噪聲水平，對所述語音片段和所述發音視頻片段進行特征融合，并基于融合后的特征對所述任一音素進行發音檢錯。

根據本發明一個實施例的發音檢錯方法，所述將所述任一音素及其對應的語音片段和發音視頻片段輸入至發音檢錯模型，得到所述發音檢錯模型輸出的所述任一音素的發音檢錯結果，具體包括：

將所述任一音素對應的語音片段和發音視頻片段輸入至所述發音檢錯模型的特征提取層，得到所述特征提取層輸出的所述語音片段的語音表示向量和所述發音視頻片段的發音動作表示向量；

將所述語音片段輸入至所述發音檢錯模型的噪聲水平評估層，得到所述噪聲水平評估層輸出的所述語音片段的噪聲水平表示向量；

將所述語音表示向量和所述發音動作表示向量，以及所述噪聲水平表示向量輸入至所述發音檢錯模型的特征融合層，得到所述特征融合層輸出的融合特征向量；

將所述任一音素的音素向量和所述融合特征向量輸入至所述發音檢錯模型的發音檢錯層，得到所述發音檢錯層輸出的所述任一音素的發音檢錯結果。

根據本發明一個實施例的發音檢錯方法，所述將所述語音表示向量和所述發音動作表示向量，以及所述噪聲水平表示向量輸入至所述發音檢錯模型的特征融合層，得到所述特征融合層輸出的融合特征向量，具體包括：

將所述發音動作表示向量和所述噪聲水平表示向量輸入至所述特征融合層的權重注意力層，得到所述權重注意力層輸出的所述發音動作表示向量的融合權重；

將所述發音動作表示向量及其融合權重，以及所述語音表示向量輸入至所述特征融合層的加權融合層，得到所述加權融合層輸出的所述融合特征向量。