[發(fā)明專利]基于深度圖像的唇語交互方法以及唇語交互裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201611076381.7
• 申請(qǐng)日: 2016-11-29
• 公開（公告）號(hào): CN107045385A
• 公開（公告）日: 2017-08-15
• 發(fā)明（設(shè)計(jì)）人: 黃源浩;劉龍;肖振中;許星
• 申請(qǐng)（專利權(quán)）人: 深圳奧比中光科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/00
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44280
• 代理人: 何青瓦

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種基于深度圖像的唇語交互方法以及交互裝置。

背景技術(shù)

在人工智能領(lǐng)域已經(jīng)圖像處理領(lǐng)域，利用目標(biāo)的圖像信息可以實(shí)現(xiàn)很多功能比如用來分析用戶的表情或動(dòng)作信息等等。圖像獲取和識(shí)別一直是較為熱門的研究話題，涉及到用戶日常生活以及科學(xué)研究的多個(gè)方面。

例如，可通過對(duì)用戶面部進(jìn)行識(shí)別如唇語進(jìn)行識(shí)別的技術(shù)能提高體感交互、語音識(shí)別的準(zhǔn)確率，從而進(jìn)一步地帶來更加舒適的交互體驗(yàn)。

但是現(xiàn)有技術(shù)中，唇語識(shí)別一般是基于彩色相機(jī)來獲取用戶的面部信息，這種方式容易受到環(huán)境的影響，如光線太強(qiáng)或太弱都會(huì)直接影響到圖像獲取的精度，導(dǎo)致識(shí)率很低，最終導(dǎo)致交互的成功率并不高。

發(fā)明內(nèi)容

本發(fā)明主要解決的技術(shù)問題是提供一種基于深度圖像的唇語交互方法以及唇語交互裝置，能夠有效提高通過唇語識(shí)別來進(jìn)行交互的成功率。

為解決上述技術(shù)問題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種基于深度圖像的唇語交互方法，所述交互方法包括：

獲取目標(biāo)人體對(duì)象的深度圖像信息；

從所述深度圖像信息中獲取所述目標(biāo)人體對(duì)象的唇部區(qū)域圖像；

從所述嘴唇區(qū)域圖像提取唇部特征，根據(jù)所述唇部特征進(jìn)行唇語識(shí)別；

將所述唇語識(shí)別的結(jié)果轉(zhuǎn)化成對(duì)應(yīng)的操作指令，并根據(jù)所述操作指令進(jìn)行交互。

其中，所述從所述深度圖像信息中獲取所述目標(biāo)人體對(duì)象的嘴唇區(qū)域圖像的步驟具體包括：

對(duì)所述深度圖像信息進(jìn)行分割得到所述目標(biāo)人體對(duì)象的人臉圖像；

從所述人臉圖像中獲取所述目標(biāo)人體對(duì)象的嘴唇區(qū)域圖像。

其中，所述對(duì)所述圖像信息進(jìn)行分割得到所述目標(biāo)人體對(duì)象的人臉圖像的步驟具體包括：

根據(jù)深度特征信息判斷所述圖像信息中是否包括所述目標(biāo)人體對(duì)象的鼻尖；

在所述深度圖像信息中包括所述目標(biāo)人體對(duì)象的鼻尖時(shí)，檢測(cè)所述鼻尖兩側(cè)是否存在橢圓的人臉輪廓區(qū)域；

如果存在所述人臉輪廓區(qū)域，獲取包括所述鼻尖以及人臉輪廓的區(qū)域圖像作為所述目標(biāo)人體對(duì)象的人臉圖像；

所述從所述人臉圖像中獲取所述目標(biāo)人體對(duì)象的嘴唇區(qū)域圖像的步驟包括：

提取所述人臉圖像中的所述鼻尖下方的區(qū)域作為嘴唇區(qū)域圖像。

所述提取所述人臉圖像中的所述鼻尖下方的區(qū)域作為嘴唇區(qū)域圖像的步驟之后還包括：

通過邊緣檢測(cè)或閾值分割的圖像處理方法從所述嘴唇區(qū)域圖像中獲取所述目標(biāo)人體對(duì)象的雙唇圖像。

其中，所述從所述嘴唇區(qū)域圖像中提取唇部特征，并對(duì)所述唇部特征進(jìn)行唇語識(shí)別的步驟具體包括：

通過外觀輪廓提取方法或輪廓特征提取方法中的至少一種從所述嘴唇區(qū)域圖像中提取唇部特征；

將所述唇部特征與設(shè)定識(shí)別模型數(shù)據(jù)庫中的識(shí)別信息進(jìn)行比對(duì)，得到所述唇部特征對(duì)應(yīng)的唇語識(shí)別結(jié)果。

其中，所述獲取目標(biāo)人體對(duì)象的深度圖像信息的步驟具體包括：

通過預(yù)先設(shè)置的雙攝像機(jī)同步采集所述目標(biāo)人體對(duì)象的第一圖像以及所述目標(biāo)人體對(duì)象的第二圖像；

根據(jù)所述第一圖像和所述第二圖像計(jì)算得到所述目標(biāo)人體對(duì)象的深度圖像信息。

其中，所述獲取目標(biāo)人體對(duì)象的深度圖像信息的步驟具體包括：

通過紅外相機(jī)獲取所述目標(biāo)人體對(duì)象的結(jié)構(gòu)光紅外圖像，從所述結(jié)構(gòu)光紅外圖像中獲取所述目標(biāo)人體對(duì)象的深度圖像信息。

其中，所述獲取目標(biāo)人體對(duì)象的深度圖像信息的步驟具體包括：

向所述目標(biāo)人體圖像所在的目標(biāo)區(qū)域投射紅外光；

通過紅外相機(jī)采集所述紅外光反射的光線，根據(jù)所述光線的傳輸時(shí)間計(jì)算得到所述目標(biāo)人體圖像的深度圖像信息。

為解決上述技術(shù)問題，本發(fā)明采用的另一個(gè)技術(shù)方案是：提供一種基于深度圖像的唇語交互裝置，

所述唇語交互裝置包括：深度圖像信息獲取模塊、唇部區(qū)域圖像確定模塊、唇語識(shí)別模塊以及交互模塊，

所述深度圖像信息獲取模塊用于獲取目標(biāo)人體對(duì)象的深度圖像信息；

所述唇部區(qū)域圖像確定模塊用于從所述深度圖像信息中獲取所述目標(biāo)人體對(duì)象的唇部區(qū)域圖像；

所述唇語識(shí)別模塊用于從所述嘴唇區(qū)域圖像提取唇部特征，根據(jù)所述唇部特征進(jìn)行唇語識(shí)別；

所述交互模塊用于將所述唇語識(shí)別的結(jié)果轉(zhuǎn)化成對(duì)應(yīng)的操作指令，并根據(jù)所述操作指令進(jìn)行交互。