[發明專利]一種融合人臉和手勢的智能終端人機交互方法

有效

• 申請號: 201310482654.8
• 申請日: 2013-10-15
• 公開（公告）號: CN103488299B
• 公開（公告）日: 2016-11-23
• 發明（設計）人: 戚金清;張遠燚;吳國強;張建偉;李景虎;沙建軍;張華翰
• 申請（專利權）人: 大連市恒芯科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 曲永祚;李洪福

技術領域

本發明涉及一種融合人臉和手勢的智能終端人機交互方法，屬于圖像處理技術領域。

背景技術

隨著智能手機、智能電視、平板電腦、車載智能系統的迅速普及，人與智能終端的交互活動成為人們日常生活中的重要組成部分。在這種情況下，基于語音、人臉、手勢等更加自然、更加方便的人機交互技術得到迅猛發展。

人臉識別技術提供了一種自然的人機交互方法。人臉是人類視覺中最為普遍的模式，最容易被人類接受。人的面部所表現的視覺信息在社會交流中有著很重要的作用和意義。人臉識別技術依托模式識別、圖像理解、計算機視覺和人工智能等多種學科，同時和認知學、神經科學、生理心理學等學科有著千絲萬縷的聯系。盡管人類在嬰兒期就可以毫不費力地快速、準確的識別人臉，然而利用計算機進行人臉識別仍然是一個挑戰。目前，雖然基于人臉識別的應用開始出現在智能手機、智能電視等終端產品上，但是受光線、角度、表情、遮擋物、眼鏡、年齡等因素影響，人臉識別的效果尚不夠理想。

手勢是另外一種自然、直觀、易于學習的人機交互手段。手勢可以分為靜態手勢和動態手勢兩種:靜態手勢指在單個時間點上手的空間姿態，如手的形狀、方向和身體的相對位置等;動態手勢則是由一段時間內的手的一系列姿態組成，相比靜態手勢增加了時間信息和動作特征，如手的姿態變化和運動軌跡。基于視覺的手勢識別技術突出優點是輸入設備便捷，例如攝像頭已經成為智能手機等終端產品的標準配置，并且它對人手不做其他附加設備要求（如手套等），使計算機與人的交互更加趨于自然化。另外，基于視覺的手勢識別技術采用視頻輸入的方式，可適用于遠距離、非接觸、自由度更大的人機交互或控制系統。目前國際上研究手勢識別的大學和機構比較多，例如美國的卡內基·梅隆大學、麻省理工學院、伊利諾伊斯大學(UIUC)等，微軟、IBM、東芝、日立等公司也在手勢識別研究中做了很多努力。國內的對該領域進行研究單位主要集中在高校和中科院自動化研究所，現在對手勢識別的研究都還處于算法研究方面，大部分的實現都是基于PC機平臺的，只有少數研究為提高速度而采用了硬件加速的方法。

綜上所述，無論是人臉還是手勢，其識別效果目前尚不理想。研究發現單一生物特征（例如人臉、手形、指紋等）所含信息有限，是無法滿足人們多樣化需求（自然、方便、安全等）的主要原因之一。文獻[5]揭示了通常使用的手形和人臉所包含的信息內容分別只有10⁵和10³數量級，所以基于單一人臉或手形識別技術的系統不可能滿足人們日常生活的多樣化需求。另外，盡管指紋和虹膜擁有大量的信息內容，但是已有的指紋認證系統對于低質量的指紋圖像的識別率也不樂觀。因此，對于某些關鍵應用，單一生物特征識別系統都很難滿足人們需求。

因此，隨著智能終端及系統的迅速普及，為滿足人們越來越多的需求，研究多模態生物識別融合技術（例如人臉+手勢、人臉+聲音、人臉+指紋等），并將其應用到智能終端及系統的人機交互中成為當前研究的熱點。

發明內容

本發明針對以上問題的提出，而研制一種融合人臉和手勢的智能終端人機交互方法。

本發明采取的技術方案如下：

第一步：根據智能終端攝像頭采集到的人臉圖像，采用灰度投影方法快速定位人眼瞳孔位置，并利用瞳孔距離對人臉圖像進行歸一化處理；

第二步：對歸一化處理得到的人臉圖像，利用灰度投影法計算面部主要特征的中心坐標，并根據中心坐標劃分13個人臉面部感興趣區域（ROI），所述面部主要特征包括眼睛、鼻子、嘴、耳朵的特征；

第三步：根據智能終端攝像頭采集到的手勢圖像進行手部膚色和背景建模，利用膚色分割和背景減除方法進行手勢檢測；

第四步：對第三步檢測到的手勢圖像，利用梯度方向直方圖方法描述其特征，同時結合主元分析方法（PCA）構建其特征子空間，然后采用在線機器學習方法將第三步檢測到的手勢圖像分成M類，在本發明中，我們將M設定為10*2類，這樣為了區分左右手；

第五步：根據第二步定義的13個人臉面部感興趣區域（ROI），結合第四步手勢識別分類結果共M類，可定義13*M類人臉-手勢基本模式；結合用戶眼睛連續閉合次數，可定義13*M*N類人臉-手勢擴展模式，N為眼睛連續閉合次數；

第六步：根據第五步定義的人臉-手勢基本模式或擴展模式，可由用戶自定義不同的人機交互操作。

所述第五步所述定義13*M類人臉-手勢基本模式，結合用戶眼睛連續閉合次數，可定義13*M*N類人臉-手勢擴展模式，N為用戶眼睛連續閉合次數。