[發明專利]一種發聲訓練矯正方法及系統

在審

• 申請號: 202010517909.X
• 申請日: 2020-06-09
• 公開（公告）號: CN111832412A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 魯遠耀;楊棽堯
• 申請（專利權）人: 北方工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

本發明提供了一種發聲訓練矯正方法及系統，所述方法包括：從待識別視頻中提取目標對象的手勢序列特征和唇形序列特征；從預先構建的語音訓練數據庫中提取與所述手勢序列特征匹配的標準唇形序列特征；基于所述標準唇形序列特征和所述目標對象的唇形序列特征獲得對應唇形的相似度，并為所述目標對象提供供訓練的標準唇讀序列。本發明提供的技術方案可以有效地矯正目標對象的發音唇形，并在沒有其他人員幫助的情況下提高他們的言語能力。

技術領域

本發明涉及康復訓練領域，具體涉及一種發聲訓練矯正方法及系統。

背景技術

聽力受損和發音困難的人由于不正確的嘴形和不清楚的表達，導致無法像普通人那樣進行交流，進而由于缺乏交流導致聽障人士言語失用癥的發生，因此，通過康復訓練預防聽障人士發生言語失用癥十分必要。

然而，聽力保健人員及相關資源的缺乏被認為是全球治療聽力障礙的主要障礙之一。近年來自動唇讀技術在視覺感知方面起著至關重要的作用，尤其是利用自動唇讀技術促進聽力障礙者的社交互動是人工智能在醫療保健和康復方面最有前途的應用之一。自動唇讀是指系統通過自動檢測來捕捉說話者的嘴唇動作，從而識別言語信息，它可以廣泛應用于信息安全，嘈雜環境下的語音識別和輔助駕駛系統中。目前的研究方向集中于如何提高嘴唇和手勢提取特征的準確率和如何提高它們的識別率，如何利用自動唇讀技術對聽障人士進行康復訓練對聽障人士將有很大的幫助。

發明內容

為了解決現有技術中所存在的上述不足，本發明提供了一種發聲訓練矯正方法，包括：

從待識別視頻中提取目標對象的手勢序列特征和唇形序列特征；

從預先構建的語音訓練數據庫中提取與所述手勢序列特征匹配的標準唇形序列特征；

基于所述標準唇形序列特征和所述目標對象的唇形序列特征獲得對應唇形的相似度，并為所述目標對象提供供訓練的標準唇讀序列。

優選的，所述語音訓練數據庫存儲標準手語詞匯以及與手語詞匯對應的唇形。

優選的，所述從預先構建的語音訓練數據庫中提取與所述手勢序列特征匹配的標準唇形序列特征，包括：

從所述語音訓練數據庫中找到與所述手勢序列特征匹配的各手語詞匯；

基于各手語詞匯獲得與各手語詞匯對應的標準唇形；

將所述與各手語詞匯對應的標準唇形生成標準唇形序列特征。

優選的，所述從所述語音訓練數據庫中找到與所述手勢序列特征匹配的各手語詞匯之后，還包括：

基于各手語詞匯向目標對象反饋識別結果；

基于所述目標對象的表達內容對所述識別結果進行修正，直到所述識別結果與所述目標對象的表達內容一致。

優選的，所述基于所述目標對象的表達內容對所述識別結果進行修正，包括：

當所述識別結果與所述目標對象的表達內容不一致時，則基于所述目標對象的表達內容重新錄制待識別視頻。

優選的，所述唇形的相似度，按下式計算：

式中，Similarityrate為唇形的相似度，X₁為目標對象的唇形序列特征中的唇形，X₂為唇形序列特征中的唇形，k為懲罰系數。

優選的，所述從待識別視頻中提取目標對象的手勢序列特征和唇形序列特征，包括：

通過ResNet50將手勢標簽與嘴唇標簽一一匹配，得到手勢序列特征；

使用MobileNet網絡分割所述待識別視頻中嘴唇圖像區域以提取唇形特征；