[發明專利]基于唇語的交互方法以及交互裝置

有效

• 申請號: 201611076396.3
• 申請日: 2016-11-29
• 公開（公告）號: CN106774856B
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 黃源浩;劉龍;肖振中;許星
• 申請（專利權）人: 深圳奧比中光科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/46;G06K9/62
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何青瓦

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種基于唇語的交互方法以及交互裝置。

背景技術

在人工智能領域已經圖像處理領域，利用目標的圖像信息可以實現很多功能比如用來分析用戶的表情或動作信息等等。圖像獲取和識別一直是較為熱門的研究話題，涉及到用戶日常生活以及科學研究的多個方面。

例如，可通過對用戶面部進行識別如唇語進行識別的技術能提高體感交互、語音識別的準確率，從而進一步地帶來更加舒適的交互體驗。

但是現有技術中，唇語識別一般是基于彩色相機來獲取用戶的面部信息，這種方式容易受到環境的影響，如光線太強或太弱都會直接影響到圖像獲取的精度，導致識率很低，最終導致交互的成功率并不高。

發明內容

本發明主要解決的技術問題是提供一種基于唇語的交互方法以及交互裝置，能夠有效提高通過唇語識別來進行交互的成功率。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種基于唇語的交互方法，所述交互方法包括：

獲取目標人體對象的深度圖像、紅外圖像以及彩色圖像；

分別從所述深度圖像、紅外圖像以及彩色圖像中獲取所述目標人體對象的唇部區域圖像；

從所述唇部區域圖像提取唇部特征，并將從所述深度圖像、所述紅外圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進行唇語識別；

將所述唇語識別的結果轉化成對應的操作指令，并根據所述操作指令進行交互。

其中，所述分別從所述深度圖像、紅外圖像以及彩色圖像中獲取所述目標人體對象的唇部區域圖像的步驟包括：

對所述深度圖像進行分割得到所述深度圖像中所述目標人體對象的人臉圖像；

根據所述深度圖像與所述紅外圖像的位置對應關系，提取所述紅外圖像與所述深度圖像中人臉圖像對應位置的區域圖像，作為所述紅外圖像中所述目標人體對象的人臉圖像；

根據所述深度圖像與所述彩色圖像的位置對應關系，提取所述彩色圖像與所述深度圖像中人臉圖像對應位置的區域圖像，作為所述彩色圖像中所述目標人體對象的人臉圖像；

從三種所述人臉圖像中分別獲取所述目標人體對象的唇部區域圖像。

其中，所述對所述深度圖像進行分割得到所述深度圖像中所述目標人體對象的人臉圖像的步驟具體包括：

根據深度特征信息判斷所述深度圖像信息中是否包括所述目標人體對象的鼻尖；

在所述深度圖像信息中包括所述目標人體對象的鼻尖時，檢測所述鼻尖兩側是否存在橢圓的人臉輪廓區域；

如果存在所述人臉輪廓區域，獲取包括所述鼻尖以及人臉輪廓的區域圖像作為所述深度圖像中所述目標人體對象的人臉圖像。

其中，所述分別從所述深度圖像、紅外圖像以及彩色圖像中獲取所述目標人體對象的唇部區域圖像的步驟包括：

從所述紅外圖像中提取所述目標人體對象的人臉圖像，或從所述彩色圖像中提取所述目標人體對象的人臉圖像；

根據從所述紅外圖像中提取的人臉圖像以及所述紅外圖像與所述深度圖像以及所述彩色圖像的位置對應關系，獲取所述深度圖像以及所述彩色圖像中所述目標人體對象的人臉圖像；或根據從所述彩色圖像中提取的人臉圖像以及所述彩色圖像與所述深度圖像以及所述紅外圖像的位置對應關系，獲取所述深度圖像以及所述紅外圖像中所述目標人體對象的人臉圖像；

從三種所述人臉圖像中分別獲取所述目標人體對象的唇部區域圖像。

其中，所述從三種所述人臉圖像中分別獲取所述目標人體對象的唇部區域圖像的步驟包括：

提取所述人臉圖像中的所述鼻尖下方的區域作為唇部區域圖像。

其中，所述從所述唇部區域圖像提取唇部特征，并將從所述深度圖像、所述紅外圖像以及所述彩色圖像中提取的所述唇部特征融合處理后進行唇語識別的步驟具體包括：

通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種從所述深度圖像、所述紅外圖像以及所述彩色圖像的唇部區域圖像中提取唇部特征；

將分別從所述深度圖像、所述紅外圖像以及所述彩色圖像中獲取到的唇部區域圖像中提取到唇部特征進行融合處理；

將處理后的唇部特征與設定識別模型數據庫中的識別信息進行比對，得到所述唇部特征對應的唇語識別結果。

其中，所述將分別從所述深度圖像、所述紅外圖像以及所述彩色圖像中獲取到的唇部區域圖像中提取到唇部特征進行融合處理的步驟具體包括：