[發明專利]基于深度圖像的唇語交互方法以及唇語交互裝置

在審

• 申請號: 201611076381.7
• 申請日: 2016-11-29
• 公開（公告）號: CN107045385A
• 公開（公告）日: 2017-08-15
• 發明（設計）人: 黃源浩;劉龍;肖振中;許星
• 申請（專利權）人: 深圳奧比中光科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙)44280
• 代理人: 何青瓦

1.一種基于深度圖像的唇語交互方法，其特征在于，所述唇語交互方法包括：

獲取目標人體對象的深度圖像信息；

從所述深度圖像信息中獲取所述目標人體對象的唇部區域圖像；

從所述嘴唇區域圖像提取唇部特征，根據所述唇部特征進行唇語識別；

將所述唇語識別的結果轉化成對應的操作指令，并根據所述操作指令進行交互。

2.根據權利要求1所述的唇語交互方法，其特征在于，所述從所述深度圖像信息中獲取所述目標人體對象的嘴唇區域圖像的步驟具體包括：

對所述深度圖像信息進行分割得到所述目標人體對象的人臉圖像；

從所述人臉圖像中獲取所述目標人體對象的嘴唇區域圖像。

3.根據權利要求2所述的唇語交互方法，其特征在于，所述對所述深度圖像信息進行分割得到所述目標人體對象的人臉圖像的步驟具體包括：

根據深度特征信息判斷所述深度圖像信息中是否包括所述目標人體對象的鼻尖；

在所述深度圖像信息中包括所述目標人體對象的鼻尖時，檢測所述鼻尖兩側是否存在橢圓的人臉輪廓區域；

如果存在所述人臉輪廓區域，獲取包括所述鼻尖以及人臉輪廓的區域圖像作為所述目標人體對象的人臉圖像；

所述從所述人臉圖像中獲取所述目標人體對象的嘴唇區域圖像的步驟包括：

提取所述人臉圖像中的所述鼻尖下方的區域作為嘴唇區域圖像。

4.根據權利要求3所述的唇語交互方法，其特征在于，所述提取所述人臉圖像中的所述鼻尖下方的區域作為嘴唇區域圖像的步驟之后還包括：

通過邊緣檢測或閾值分割的圖像處理方法從所述嘴唇區域圖像中獲取所述目標人體對象的雙唇圖像。

5.根據權利要求3所述的唇語交互方法，其特征在于，所述從所述嘴唇區域圖像中提取唇部特征，并對所述唇部特征進行唇語識別的步驟具體包括：

通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種從所述嘴唇區域圖像中提取唇部特征；

將所述唇部特征與設定識別模型數據庫中的識別信息進行比對，得到所述唇部特征對應的唇語識別結果。

6.根據權利要求1所述的唇語交互方法，其特征在于，所述獲取目標人體對象的深度圖像信息的步驟具體包括：

通過預先設置的雙攝像機同步采集所述目標人體對象的第一圖像以及所述目標人體對象的第二圖像；

根據所述第一圖像和所述第二圖像計算得到所述目標人體對象的深度圖像信息。

7.根據權利要求1所述的唇語交互方法，其特征在于，所述獲取目標人體對象的深度圖像信息的步驟具體包括：

通過紅外相機獲取所述目標人體對象的結構光紅外圖像，從所述結構光紅外圖像中獲取所述目標人體對象的深度圖像信息。

8.根據權利要求1所述的唇語交互方法，其特征在于，所述獲取目標人體對象的深度圖像信息的步驟具體包括：

向所述目標人體圖像所在的目標區域投射紅外光；

通過紅外相機采集所述紅外光反射的光線，根據所述光線的傳輸時間計算得到所述目標人體圖像的深度圖像信息。

9.一種基于深度圖像的唇語交互裝置，其特征在于，所述唇語交互裝置包括：深度圖像信息獲取模塊、唇部區域圖像確定模塊、唇語識別模塊以及交互模塊，

所述深度圖像信息獲取模塊用于獲取目標人體對象的深度圖像信息；

所述唇部區域圖像確定模塊用于從所述深度圖像信息中獲取所述目標人體對象的唇部區域圖像；

所述唇語識別模塊用于從所述嘴唇區域圖像提取唇部特征，根據所述唇部特征進行唇語識別；

所述交互模塊用于將所述唇語識別的結果轉化成對應的操作指令，并根據所述操作指令進行交互。

10.根據權利要求9所述的唇語交互裝置，其特征在于，所述唇部區域圖像確定模塊具體用于對所述深度圖像信息進行分割得到所述目標人體對象的人臉圖像；從所述人臉圖像中獲取所述目標人體對象的嘴唇區域圖像。