[發明專利]一種語音識別方法、裝置、設備及存儲介質

在審

• 申請號: 201810113879.9
• 申請日: 2018-02-05
• 公開（公告）號: CN108346427A
• 公開（公告）日: 2018-07-31
• 發明（設計）人: 李濱何
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/25;G10L15/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種語音識別方法，其特征在于，包括：

當發聲事件被觸發時，接收麥克風發送的用戶在執行所述發聲事件過程中采集的語音信號和包含唇部的圖像信號；

對所述語音信號進行特征提取生成語音特征信號，以及對所述包含唇部的圖像信號進行特征提取生成唇語特征信號；

將所述語音特征信號和所述唇語特征信號發送給服務端，以指示所述服務端將所述語音特征信號與預設語音信號進行匹配分析生成語音識別結果以及將所述唇語特征信號與預設唇語信號進行匹配分析生成唇語識別結果，如果所述語音識別結果與所述唇語識別結果的相似度大于等于相似度閾值，則根據所述語音識別結果生成識別反饋結果并將所述識別反饋結果發送給終端。

2.根據權利要求1所述的方法，其特征在于，所述對所述語音信號進行特征提取生成語音特征信號，包括：

對所述語音信號進行語音特征參數提取得到語音特征參數；

對所述語音特征參數進行降維變換得到待處理語音特征信號；

根據語音增強算法對所述待處理語音特征信號進行增強處理得到所述語音特征信號，所述語音增強算法包括倒頻譜均值減法算法；

所述對所述包含唇部的圖像信號進行特征提取生成唇語特征信號，包括：

根據唇部特征提取算法對所述包含唇部的圖像信號進行特征提取得到唇部圖像信號，所述唇部特征提取算法包括基于模板的特征提取算法或基于圖像像素的特征提取算法中的至少一種；

根據口型輪廓特征提取算法對所述唇部圖像信號進行口型輪廓特征提取得到所述唇語特征信號，所述口型輪廓特征提取算法包括變形模板算法或Snakes算法中的至少一種。

3.一種語音識別方法，其特征在于，包括：

接收終端發送的語音特征信號和唇語特征信號；

對所述語音特征信號與預設語音信號進行匹配分析生成語音識別結果；

對所述唇語特征信號與預設唇語信號進行匹配分析生成唇語識別結果；

如果所述語音識別結果與所述唇語識別結果的相似度大于等于相似度閾值，則根據所述語音識別結果生成識別反饋結果，并將所述識別反饋結果發送給終端，以指示所述終端根據所述識別反饋結果生成發聲事件的評價結果。

4.根據權利要求3所述的方法，其特征在于，所述接收終端發送的語音特征信號和唇語特征信號之前，還包括：

建立預先訓練的語音識別模型和唇語識別模型；

相應的，所述對所述語音特征信號與預設語音信號進行匹配分析生成語音識別結果，包括：

根據所述語音特征信號調用所述預先訓練的語音識別模型中的預設語音信號進行匹配分析，生成所述語音識別結果；

所述對所述唇語特征信號與預設唇語信號進行匹配分析生成唇語識別結果，包括：

根據所述唇語特征信號調用所述預先訓練的唇語識別模型中的預設唇語信號進行匹配分析，生成所述唇語識別結果。

5.根據權利要求4所述的方法，其特征在于，所述建立預先訓練的唇語識別模型，包括：

在標準數據庫中，獲取用戶在執行發聲事件過程中生成的設定數量組的訓練數據，所述訓練數據包括包含唇部的圖像信號和對應的文字信號；

對所述包含唇部的圖像信號進行特征提取生成第一唇語特征信號，以所述第一唇語特征信號為輸入變量，以對應的所述文字信號為輸出變量，采用所述第一唇語特征信號和對應的所述文字信號根據機器學習算法對預設的數學模型進行訓練生成預先訓練的唇語識別模型。

6.根據權利要求3-5任一所述的方法，其特征在于，還包括：

如果所述語音識別結果與所述唇語識別結果的相似度小于所述相似度閾值，則獲取當前語境信息；

根據所述當前語境信息對所述語音識別結果和所述唇語識別結果進行調整，直至調整后的語音識別結果和唇語識別結果的相似度大于等于所述相似度閾值。