[發明專利]發音檢錯方法、裝置、電子設備和存儲介質

在審

• 申請號: 202211714461.6
• 申請日: 2022-12-29
• 公開（公告）號: CN115985342A
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 李芳足;吳奎;盛志超
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/60;G10L15/02
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明提供一種發音檢錯方法、裝置、電子設備和存儲介質，該方法包括：獲取朗讀文本和朗讀語音；對所述朗讀語音進行音素序列識別，得到語音音素序列；將所述語音音素序列與所述朗讀文本的文本音素序列對齊，得到所述文本音素序列中各音素的錯讀類型概率分布；基于所述文本音素序列、所述錯讀類型概率分布以及所述朗讀語音的語音特征，進行發音檢錯。本發明提供的方法、裝置、電子設備和存儲介質，通過對齊語音音素序列和朗讀文本的文本音素序列，獲取文本音素序列中各音素的錯讀類型概率分布，并結合文本音素序列、語音特征和錯讀類型概率分布進行發音檢錯，能夠有效提高檢錯性能，避免漏檢問題。

技術領域

本發明涉及計算機輔助發音訓練技術領域，尤其涉及一種發音檢錯方法、裝置、電子設備和存儲介質。

背景技術

在發音訓練過程中，學習者被要求朗讀準備好的朗讀文本，CAPT(Computer-Assisted?Pronunciation?Training，計算機輔助發音訓練)系統可以根據朗讀語音和朗讀文本，來檢測朗讀語音中存在的發音錯誤并給出適當的反饋。

目前，主流的發音檢錯方法是基于強制對齊(Force?alignment)技術的方法，該方法需要預先搭建可能的錯誤解碼路徑，但是由于錯誤解碼路徑難以窮舉，存在檢錯效果差、診斷不完備的問題。

發明內容

本發明提供一種發音檢錯方法、裝置、電子設備和存儲介質，用以解決現有技術中發音檢錯效果不佳的缺陷。

本發明提供一種發音檢錯方法，包括：

獲取朗讀文本和朗讀語音；

對所述朗讀語音進行音素序列識別，得到語音音素序列；

將所述語音音素序列與所述朗讀文本的文本音素序列對齊，得到所述文本音素序列中各音素的錯讀類型概率分布；

基于所述文本音素序列、所述錯讀類型概率分布以及所述朗讀語音的語音特征，進行發音檢錯。

根據本發明提供的一種發音檢錯方法，所述基于所述文本音素序列、所述錯讀類型概率分布以及所述朗讀語音的語音特征，進行發音檢錯，包括：

基于所述文本音素序列中各音素本身，以及所述各音素的錯讀類型概率分布和所述各音素在所述文本音素序列中的位置，確定文本特征；

基于所述文本特征和所述語音特征之間的相關度，確定融合特征；

基于所述融合特征，進行發音檢錯。

根據本發明提供的一種發音檢錯方法，所述基于所述文本音素序列中各音素本身，以及所述各音素的錯讀類型概率分布和所述各音素在所述文本音素序列中的位置，確定文本特征，包括：

基于所述各音素本身，以及所述各音素的錯讀類型概率分布和所述各音素在所述文本音素序列中的位置，確定所述各音素的音素特征；

基于所述各音素的音素特征之間的相關度，進行音素特征交互，得到所述各音素的交互音素特征作為所述文本特征。

根據本發明提供的一種發音檢錯方法，所述對所述朗讀語音進行音素序列識別，得到語音音素序列，包括：

基于所述朗讀語音中各幀的聲學特征，以及所述各幀在所述朗讀語音中的位置，確定所述朗讀語音的語音特征；

對所述朗讀語音的語音特征進行音素識別和序列解碼，得到所述語音音素序列。

根據本發明提供的一種發音檢錯方法，所述基于所述朗讀語音中各幀的聲學特征，以及所述各幀在所述朗讀語音中的位置，確定所述朗讀語音的語音特征，包括：

基于所述朗讀語音中各幀的聲學特征，以及所述各幀在所述朗讀語音中的位置，確定所述各幀的基礎特征；