[發明專利]一種融合人臉和手勢的智能終端人機交互方法

有效

• 申請號: 201310482654.8
• 申請日: 2013-10-15
• 公開（公告）號: CN103488299B
• 公開（公告）日: 2016-11-23
• 發明（設計）人: 戚金清;張遠燚;吳國強;張建偉;李景虎;沙建軍;張華翰
• 申請（專利權）人: 大連市恒芯科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 曲永祚;李洪福

1.一種融合人臉和手勢的智能終端人機交互方法，其特征在于：

第一步：根據智能終端攝像頭采集到的人臉圖像，采用灰度投影方法快速定位人眼瞳孔位置，并利用瞳孔距離對人臉圖像進行歸一化處理；

第二步：對歸一化處理得到的人臉圖像，利用灰度投影法計算面部主要特征的中心坐標，并根據中心坐標劃分13個人臉面部感興趣區域，所述面部主要特征包括眼睛、鼻子、嘴、耳朵的特征；

第三步：根據智能終端攝像頭采集到的手勢圖像進行手部膚色和背景建模，利用膚色分割和背景減除方法進行手勢檢測；

第四步：對第三步檢測到的手勢圖像，利用梯度方向直方圖方法描述其特征，同時結合主元分析方法構建其特征子空間，然后采用在線機器學習方法將第三步檢測到的手勢圖像分成M類，M設定為10*2類，10*2類區分左右手；

第五步：根據第二步定義的13個人臉面部感興趣區域，結合第四步手勢識別分類結果共M類，可定義13*M類人臉-手勢基本模式；結合用戶眼睛連續閉合次數，可定義13*M*N類人臉-手勢擴展模式，N為眼睛連續閉合次數；

第六步：根據第五步定義的人臉-手勢基本模式或擴展模式，可由用戶自定義不同的人機交互操作。

2.根據權利要求1所述的一種融合人臉和手勢的智能終端人機交互方法，其特征在于：第五步所述定義13*M類人臉-手勢基本模式，結合用戶眼睛連續閉合次數，可定義13*M*N類人臉-手勢擴展模式，N為用戶眼睛連續閉合次數。

3.根據權利要求1所述的一種融合人臉和手勢的智能終端人機交互方法，其特征在于：第六步所述的可由用戶自定義不同的人機交互操作包括打開、關閉、保存、刪除、退出、最小化、最大化、返回上級菜單、返回桌面、鎖屏。

4.根據權利要求1所述的一種融合人臉和手勢的智能終端人機交互方法，其特征在于：13個人臉面部感興趣區域的實現方法如下：首先利用灰度投影法快速定位人眼瞳孔位置，根據瞳孔距離縮放和切割所有的人臉圖像，使所有圖像之間的瞳孔位置和面部輪廓大小基本一致；接著再次利用灰度投影法定位面部特征器官的中心坐標，面部特征器官包括眼睛、鼻子、嘴、耳；然后根據中心坐標劃分對應的感興趣區域。