[發明專利]一種發音糾正系統、方法、介質和計算設備

在審

• 申請號: 201910408726.1
• 申請日: 2019-05-16
• 公開（公告）號: CN111951629A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 劉晨晨;沈欣堯;崔守首;胡太;孫懌;余津銳;劉阿猛;紀陽
• 申請（專利權）人: 上海流利說信息技術有限公司
• 主分類號: G09B7/02
• 分類號: G09B7/02;G10L25/51;G06K9/00
• 代理公司: 北京信遠達知識產權代理有限公司 11304
• 代理人: 魏曉波

1.一種發音糾正系統，其特征在于，包括：

測試模塊，被配置為輸出基于用戶學習數據確定的測試內容；采集用戶根據所述測試內容輸入的第一測試數據，其中所述第一測試數據包括面部圖像數據和語音數據；

發音糾正模塊，被配置為從所述第一測試數據中提取用戶發音特征并匹配對應的發音糾正策略；基于所述發音糾正策略向用戶反饋發音糾正內容，所述發音糾正內容用于指示發音差異類型以及對應的發音糾正策略。

2.如權利要求1所述的系統，其特征在于，所述測試模塊還用于：

在所述發音糾正模塊基于所述發音糾正策略向用戶反饋發音糾正內容之后，采集用戶根據所述發音糾正內容輸入的第二測試數據，其中所述第二測試數據包括面部圖像數據和語音數據；

基于所述第二測試數據和預設的練習策略得到練習結果。

3.如權利要求1或2所述的系統，其特征在于，所述測試模塊還用于：

在采集所述第一測試數據或第二測試數據之前，判斷圖像采集設備是否識別出用戶面部區域；

所述測試模塊在采集所述第一測試數據或第二測試數據時，具體用于：

若判定所述圖像采集設備識別出所述用戶面部區域，則向用戶輸出測試開啟指令；和/或，

觸發所述圖像采集設備啟動對所述用戶面部區域進行圖像數據采集，以得到所述面部圖像數據，其中所述面部圖像數據包含有用戶基于所述測試內容或發音糾正內容產生的面部動作對應的圖像數據。

4.如權利要求3所述的系統，其特征在于，所述測試模塊還用于：

在判斷圖像采集設備是否識別出用戶面部區域之后，若判定所述圖像采集設備未識別出所述用戶面部區域，則輸出識別結果；和/或，

通過調整指令向用戶指示對所述用戶面部區域與所述圖像采集設備之間的相對位置進行調整。

5.如權利要求2至4任一所述的系統，其特征在于，所述面部圖像數據包括口型數據和/或面部關鍵點數據。

6.如權利要求1所述的系統，其特征在于，所述用戶發音特征包括發音圖像特征；

所述發音糾正模塊在從所述第一測試數據中提取用戶發音特征并匹配對應的發音糾正策略時，具體用于：

從所述面部圖像數據對應的至少一個圖像幀中提取所述發音圖像特征，所述發音圖像特征包括對應于預設音標的用戶發音口型特征；

對比所述對應于預設音標的用戶發音口型特征與該預設音標對應的標準口型特征并匹配對應的口型差異類型；

將所述口型差異類型對應的口型差異糾正策略設置為所述發音糾正策略。

7.如權利要求6所述的系統，其特征在于，所述發音糾正內容包括發音糾正圖像；

所述發音糾正模塊在基于所述發音糾正策略向用戶推送發音糾正內容時，具體用于:

基于所述口型差異糾正策略以及從所述面部圖像數據中提取的用戶面部特征，模擬出該用戶對預設音標進行正確發音時的口型圖像作為口型糾正引導圖像；

以模擬出的所述口型糾正引導圖像作為發音糾正內容向用戶推送。

8.一種發音糾正方法，其特征在于，應用于如權利要求1至7之一所述發音糾正系統中，包括：

輸出基于用戶學習數據確定的測試內容；

采集用戶根據所述測試內容輸入的第一測試數據并確定發音糾正策略，其中所述第一測試數據包括面部圖像數據和語音數據；

從所述第一測試數據中提取用戶發音特征并匹配對應的發音糾正策略；

基于所述發音糾正策略向用戶反饋發音糾正內容，所述發音糾正內容用于指示發音差異類型以及對應的發音糾正策略。

9.一種介質，存儲有程序代碼，所述程序代碼當被處理器執行時，實現如權利要求1至7之一所述發音糾正系統中任一模塊配置的功能，或者實現如權利要求8所述的方法。

10.一種計算設備，包括處理器和存儲有程序代碼的存儲介質，所述程序代碼當被處理器執行時，實現如權利要求1至7之一所述發音糾正系統中任一模塊配置的功能，或者實現如權利要求8所述的方法。