[發明專利]基于圖像識別的唇語識別方法、裝置、設備及存儲介質

在審

• 申請號: 202011635782.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112784696A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 周亞云;馬駿;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F40/216;G06N3/04;G06N3/08;G10L13/02;G10L15/16;G10L15/26
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

1.一種基于圖像識別的唇語識別方法，其特征在于，所述基于圖像識別的唇語識別方法包括：

實時采集唇語用戶的多幀人臉圖像；

依次對所述各人臉圖像進行關鍵點檢測與唇部區域定位，得到所述各人臉圖像對應的唇部區域圖像；

依次對所述各人臉圖像對應的唇部區域圖像進行特征提取，得到所述唇語用戶的唇部特征序列；

將所述唇部特征序列輸入預置唇語識別模型進行唇語發音識別，輸出所述唇語用戶對應的發音音素序列；

將所述發音音素序列轉換成文字格式的多個自然語句，并通過預置統計語言模型對所述多個自然語句進行打分，得到目標自然語句；

將所述目標自然語句進行音頻轉換，得到唇語發音并進行播報。

2.根據權利要求1所述的基于圖像識別的唇語識別方法，其特征在于，所述依次對所述各人臉圖像進行關鍵點檢測與唇部區域定位，得到所述各人臉圖像對應的唇部區域圖像包括：

依次將所述各人臉圖像數據輸入人臉識別模型進行關鍵點檢測，得到所述各人臉圖像中的人臉關鍵點；

根據所述各人臉關鍵點對應的標注信息，確定所述各人臉圖像中的嘴角關鍵點；

根據所述各人臉圖像的嘴角關鍵點，確定所述各人臉圖像對應的唇部區域并進行截圖，得到所述各人臉圖像對應的唇部區域圖像。

3.根據權利要求1或2所述的基于圖像識別的唇語識別方法，其特征在于，所述依次對所述各人臉圖像對應的唇部區域圖像進行特征提取，得到所述唇語用戶的唇部特征序列包括：

將所述各人臉圖像對應的唇部區域圖像與預置標準嘴圖像對齊；

計算所述各唇部區域圖像相對于標準嘴圖像的偏移量和旋轉因子，得到所述各唇部區域圖像對應的唇部特征向量；

按照所述各人臉圖像的采集時序，依次拼接所述各唇部區域圖像對應的唇部特征向量，得到所述唇語用戶的唇部特征序列。

4.根據權利要求1所述的基于圖像識別的唇語識別方法，其特征在于，在所述實時采集唇語用戶的多幀人臉圖像之前，還包括：

獲取多個帶發音音素標注的唇部區域圖像樣本；

提取所述各唇部區域圖像樣本對應的唇部特征序列并作為訓練樣本；

初始化帶初始網絡參數的端對端神經網絡模型，所述端對端神經網絡模型包括：編碼器及解碼器，所述編碼器包括若干層第一RNN網絡，所述解碼器包括若干層第二RNN網絡；

將所述訓練樣本輸入所述編碼器的各第一RNN網絡進行發音編碼，得到所述訓練樣本對應的第一發音向量；

將所述第一發音向量輸入所述解碼器的各第二RNN網絡進行發音映射，得到所述各第一發音向量對應的發音音素預測結果；

根據所述發音音素預測結果及所述訓練樣本，計算所述端對端神經網絡模型的CTC損失函數，得到模型損失值；

根據所述模型損失值，判斷所述端對端神經網絡模型是否收斂；

若所述端對端神經網絡模型收斂，則將所述端對端神經網絡模型作為唇語識別模型，否則繼續將所述發音音素預測結果反向輸入所述端對端神經網絡模型，并更新所述端對端神經網絡模型的網絡參數，直至所述端對端神經網絡模型收斂，得到唇語識別模型。

5.根據權利要求4所述的基于圖像識別的唇語識別方法，其特征在于，所述將所述唇部特征序列輸入預置唇語識別模型進行唇語發音識別，輸出所述唇語用戶對應的發音音素序列包括：

將所述唇部特征序列輸入所述唇語識別模型的編碼器進行發音編碼，得到所述唇部特征序列對應的第二發音向量；

將所述第二發音向量輸入所述唇語識別模型的解碼器進行發音映射，得到所述唇語用戶對應的發音音素序列。