[發明專利]一種發聲訓練矯正方法及系統

在審

• 申請號: 202010517909.X
• 申請日: 2020-06-09
• 公開（公告）號: CN111832412A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 魯遠耀;楊棽堯
• 申請（專利權）人: 北方工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種發聲訓練矯正方法，其特征在于，包括：

從待識別視頻中提取目標對象的手勢序列特征和唇形序列特征；

從預先構建的語音訓練數據庫中提取與所述手勢序列特征匹配的標準唇形序列特征；

基于所述標準唇形序列特征和所述目標對象的唇形序列特征獲得對應唇形的相似度，并為所述目標對象提供供訓練的標準唇讀序列。

2.如權利要求1所述的方法，其特征在于，所述語音訓練數據庫存儲標準手語詞匯以及與手語詞匯對應的唇形。

3.如權利要求2所述的方法，其特征在于，所述從預先構建的語音訓練數據庫中提取與所述手勢序列特征匹配的標準唇形序列特征，包括：

從所述語音訓練數據庫中找到與所述手勢序列特征匹配的各手語詞匯；

基于各手語詞匯獲得與各手語詞匯對應的標準唇形；

將所述與各手語詞匯對應的標準唇形生成標準唇形序列特征。

4.如權利要求3所述的方法，其特征在于，所述從所述語音訓練數據庫中找到與所述手勢序列特征匹配的各手語詞匯之后，還包括：

基于各手語詞匯向目標對象反饋識別結果；

基于所述目標對象的表達內容對所述識別結果進行修正，直到所述識別結果與所述目標對象的表達內容一致。

5.如權利要求4所述的方法，其特征在于，所述基于所述目標對象的表達內容對所述識別結果進行修正，包括：

當所述識別結果與所述目標對象的表達內容不一致時，則基于所述目標對象的表達內容重新錄制待識別視頻。

6.如權利要求1所述的方法，其特征在于，所述唇形的相似度，按下式計算：

式中，Similarityrate為唇形的相似度，X₁為目標對象的唇形序列特征中的唇形，X₂為唇形序列特征中的唇形，k為懲罰系數。

7.如權利要求1所述的方法，其特征在于，所述從待識別視頻中提取目標對象的手勢序列特征和唇形序列特征，包括：

通過ResNet50將手勢標簽與嘴唇標簽一一匹配，得到手勢序列特征；

使用MobileNet網絡分割所述待識別視頻中嘴唇圖像區域以提取唇形特征；

將各唇形特征利用LSTM網絡進行學習時間序列信息，得到唇形序列特征。

8.一種發聲訓練矯正系統，其特征在于，包括：

提取模塊，用于從待識別視頻中提取目標對象的手勢序列特征和唇形序列特征；

匹配模塊，用于從預先構建的語音訓練數據庫中提取與所述手勢序列特征匹配的標準唇形序列特征；

對比模塊，用于基于所述標準唇形序列特征和所述目標對象的唇形序列特征獲得對應唇形的相似度，并為所述目標對象提供供訓練的標準唇讀序列。

9.一種電子設備，其特征在于，所述電子設備包括：

存儲器，存儲至少一個指令；及

處理器，執行所述存儲器中存儲的指令以實現如權利要求1至7中任意一項所述的發聲訓練矯正方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有至少一個指令，所述至少一個指令被電子設備中的處理器執行以實現如權利要求1至7中任意一項所述的發聲訓練矯正方法。