[發明專利]基于圖像識別的唇語識別方法、裝置、設備及存儲介質

在審

• 申請號: 202011635782.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112784696A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 周亞云;馬駿;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F40/216;G06N3/04;G06N3/08;G10L13/02;G10L15/16;G10L15/26
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

本發明涉及人工智能領域，公開了一種基于圖像識別的唇語識別方法、裝置、設備及存儲介質。該方法包括：實時采集唇語用戶的多幀人臉圖像進行關鍵點檢測與唇部區域定位，得到各人臉圖像對應的唇部區域圖像；依次對各人臉圖像對應的唇部區域圖像進行特征提取，得到唇語用戶的唇部特征序列；將唇部特征序列輸入預置唇語識別模型，輸出唇語用戶對應的發音音素序列；將發音音素序列轉換成文字格式的多個自然語句，并通過預置統計語言模型對多個自然語句進行打分，得到目標自然語句；將目標自然語句進行音頻轉換，得到唇語發音并進行播報。本發明能從實時采集的唇語圖像數據中識別出唇語表達語句，并進行播報，使無聲的唇語得以實時發聲。

技術領域

本發明涉及人工智能領域，尤其涉及一種基于圖像識別的唇語識別方法、裝置、設備及存儲介質。

背景技術

目前世界上存在大量因疾病、意外或者先天缺陷導致失聲的人群，這部分人群無法通過發送聲音來實現和外界順暢溝通。一般來說，失聲人群可以聽明白正常人的語音信息，但如何表達自己的想法讓對方明白卻是一件困難的事情，比如非失聲者沒有經過專業的手語或者唇語的識別訓練，或者失聲者不會書寫文字等情況下，溝通很難正常進行。失聲人群即便可以通過文字進行交流，但溝通效率低下。而唇語是靠看別人的說話時嘴唇的動作來解讀別人說的話，不需要對教育背景有所要求，但對唇語識別能力有專業的要求。

為了解決人類解讀唇語需要經過專業訓練的問題，可以利用機器學習和深度學習技術來訓練機器識別人類的唇語表達，并通過播放器播報，以實現失聲人群與正常人的實時無障礙溝通。現有的唇語識別方案多數都包含嘴部檢測、嘴部分割、嘴部歸一化、特征提取和唇語分類器的構建，準確率約為20％-60％，屬于較低的唇語識別準確率，而且沒有達到語音直接播報的功能，使唇語識別仍停留在誤差較大的文字層面。

發明內容

本發明的主要目的在于解決現有唇語識別的建模方式簡單而影響識別準確度的技術問題。

本發明第一方面提供了一種基于圖像識別的唇語識別方法，所述基于圖像識別的唇語識別方法包括：

實時采集唇語用戶的多幀人臉圖像；

依次對所述各人臉圖像進行關鍵點檢測與唇部區域定位，得到所述各人臉圖像對應的唇部區域圖像；

依次對所述各人臉圖像對應的唇部區域圖像進行特征提取，得到所述唇語用戶的唇部特征序列；

將所述唇部特征序列輸入預置唇語識別模型進行唇語發音識別，輸出所述唇語用戶對應的發音音素序列；

將所述發音音素序列轉換成文字格式的多個自然語句，并通過預置統計語言模型對所述多個自然語句進行打分，得到目標自然語句；

將所述目標自然語句進行音頻轉換，得到唇語發音并進行播報。

可選的，在本發明第一方面的第一種實現方式中，所述依次對所述各人臉圖像進行關鍵點檢測與唇部區域定位，得到所述各人臉圖像對應的唇部區域圖像包括：

依次將所述各人臉圖像數據輸入人臉識別模型進行關鍵點檢測，得到所述各人臉圖像中的人臉關鍵點；

根據所述各人臉關鍵點對應的標注信息，確定所述各人臉圖像中的嘴角關鍵點；

根據所述各人臉圖像的嘴角關鍵點，確定所述各人臉圖像對應的唇部區域并進行截圖，得到所述各人臉圖像對應的唇部區域圖像。

可選的，在本發明第一方面的第二種實現方式中，所述依次對所述各人臉圖像對應的唇部區域圖像進行特征提取，得到所述唇語用戶的唇部特征序列包括：

將所述各人臉圖像對應的唇部區域圖像與預置標準嘴圖像對齊；

計算所述各唇部區域圖像相對于標準嘴圖像的偏移量和旋轉因子，得到所述各唇部區域圖像對應的唇部特征向量；