[發明專利]糾正發音的方法、裝置、存儲介質及電子設備

在審

• 申請號: 202110483926.0
• 申請日: 2021-04-30
• 公開（公告）號: CN113297924A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 殷翔;馬澤君
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G09B5/06
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 李柯瑩

本公開涉及一種糾正發音的方法、裝置、存儲介質及電子設備。該方法包括：獲取用戶的待糾音視頻，所述待糾音視頻包括待糾正發音音頻和待糾正發音面部動作圖像幀序列；從所述待糾正發音音頻中提取音頻特征信息；將所述音頻特征信息輸入嘴唇關鍵點平均模型，得到所述音頻特征信息對應的標準嘴唇關鍵點信息；從所述待糾正發音面部動作圖像幀序列中提取實際嘴唇關鍵點信息；對所述標準嘴唇關鍵點信息和所述實際嘴唇關鍵點信息進行比較，得到嘴唇動作糾正信息；將所述嘴唇動作糾正信息作為糾正發音的指導信息，所述指導信息用于指導所述用戶通過修正發音動作以糾正發音。采用這種方法，可得到準確地指導信息以糾正用戶發音。

技術領域

本公開涉及音頻處理技術領域，具體地，涉及一種糾正發音的方法、裝置、存儲介質及電子設備。

背景技術

在語言教學場景下，通常給出教學文本，用戶通過點擊音頻按鈕以播放該教學文本對應的標準發音音頻。用戶通過模仿該標準發音音頻來學習該教學文本的正確發音。

相關技術中，會對用戶模仿/跟讀的發音音頻進行發音評價(如MDD(Mispronunciation Detection and Diagnosis)評分)，以得到該用戶的發音測評結果。用戶基于該結果可定位需要糾正發音的音素或單詞，如此可進一步地對需要糾正發音的音素或單詞進行針對性學習或訓練。但是，對于用戶需要糾正發音的音素或單詞，用戶往往不清楚應該如何做才能發出正確的讀音。

發明內容

提供該發明內容部分以便以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。該發明內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

第一方面，本公開提供一種糾正發音的方法，所述方法包括：

獲取用戶的待糾音視頻，所述待糾音視頻包括待糾正發音音頻和待糾正發音面部動作圖像幀序列；從所述待糾正發音音頻中提取音頻特征信息；將所述音頻特征信息輸入嘴唇關鍵點平均模型，得到所述音頻特征信息對應的標準嘴唇關鍵點信息；從所述待糾正發音面部動作圖像幀序列中提取實際嘴唇關鍵點信息；對所述標準嘴唇關鍵點信息和所述實際嘴唇關鍵點信息進行比較，得到嘴唇動作糾正信息；將所述嘴唇動作糾正信息作為糾正發音的指導信息，所述指導信息用于指導所述用戶通過修正發音動作以糾正發音。

第二方面，本公開提供一種糾正發音的裝置，所述裝置包括：

獲取模塊，用于獲取用戶的待糾音視頻，所述待糾音視頻包括待糾正發音音頻和待糾正發音面部動作圖像幀序列；第一提取模塊，用于從所述待糾正發音音頻中提取音頻特征信息；第一輸入模塊，用于將所述音頻特征信息輸入嘴唇關鍵點平均模型，得到所述音頻特征信息對應的標準嘴唇關鍵點信息；第二提取模塊，用于從所述待糾正發音面部動作圖像幀序列中提取實際嘴唇關鍵點信息；比較模塊，用于對所述標準嘴唇關鍵點信息和所述實際嘴唇關鍵點信息進行比較，得到嘴唇動作糾正信息；執行模塊，用于將所述嘴唇動作糾正信息作為糾正發音的指導信息，所述指導信息用于指導所述用戶通過修正發音動作以糾正發音。

第三方面，本公開提供一種計算機可讀介質，其上存儲有計算機程序，該程序被處理裝置執行時實現上述第一方面所述方法的步驟。

第四方面，本公開提供一種電子設備，包括：存儲裝置，其上存儲有計算機程序；處理裝置，用于執行所述存儲裝置中的所述計算機程序，以實現上述第一方面所述方法的步驟。

采用上述技術方案，至少可以達到如下的技術效果：