[發明專利]一種人機交互系統及其實時手勢跟蹤處理方法

在審

• 申請號: 201110342972.5
• 申請日: 2011-11-03
• 公開（公告）號: CN102426480A
• 公開（公告）日: 2012-04-25
• 發明（設計）人: 劉遠民;陳大煒
• 申請（專利權）人: 康佳集團股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 深圳市君勝知識產權代理事務所 44268
• 代理人: 王永文;楊宏

技術領域

本發明涉及人機交互技術領域，尤其涉及的是一種人機交互系統及其實時手勢跟蹤處理方法。

背景技術

人機交互技術是目前用戶界面研究中發展最快的領域之一，對此，各國都十分重視。美國在國家關鍵技術中，將人機界面列為信息技術中與軟件和計算機并列的六項關鍵技術之一。在美國國防關鍵技術中，人機界面不僅是軟件技術中的重要內容之一，而且是與計算機和軟件技術并列的11項關鍵技術之一。歐共體的歐洲信息技術研究與發展戰略計劃(ESPRIT)還專門設立了用戶界面技術項目,?其中包括多通道人機交互界面(Multi-Modal?Interface?for?Man-Machine?Interface)。保持在這一領域中的領先，對整個智能計算機系統是至關重要的。

人體所獲得的信息80%來自視覺，因此，從自知心理學的角度研究基于機器視覺的人機交互方式是解決人機交互的重要手段。手勢是人機交互過程中一個非常自然、直觀的交互通道，因此研究手勢檢測跟蹤識別技術不僅有助于實現自然的人機交互，而且有助于機器人通過模仿用戶的示范動作習得技能。

由于手勢本身具有的多樣性、多義性以及時間和空間上的差異性等特點，加之人手是復雜變形體以及視覺本身的不適定性，因此基于視覺的手勢識別是一個多學科交叉的、富有挑戰性的研究課題。

目前的基于手勢的人機交互主要有三種方式，一是麻省理工大學為代表的，利用數據手套、數據服裝等裝置，對手和身體的運動進行跟蹤，完成人機交互；第二種是以微軟為代表的體感游戲，它采用深度攝像頭和RGB攝像頭來實現手和身體的位置跟蹤。前面兩種方式都具有高成本的特點，不宜于企業，特別是競爭激烈的家電企業的廣泛應用；第三種就是業內眾所周知的HandVu，它以普通攝像頭為研究的對象，具有成本低、實時性能好等優點，但在跟蹤過程中由外界環境影響較大，不能很好地解決由于光照和背景復雜而帶來的跟蹤失敗問題。

2010年微軟推出的Kinect?體感游戲，因其自然直觀的人機交互功能，而使其深受廣大消費者青睞。該系統采用了雙攝像頭（深度攝像頭和RGB攝像頭）有利于多傳感器的信息融合，因此具有較高的手勢檢測和跟蹤精度，但其成本高。相反，基于普通單攝像頭的實時手勢檢測跟蹤器在這方面具有很強的優勢，但其對手的跟蹤和檢測的準備度和精度都存在一定的不足，究其原因主要有：（1）手本身不是剛體，在運動過程中可能存在不同程度的形變;（2）光照條件的影響和變化；(3)對目標跟蹤沒有一個可信度度量標準，因此，當系統跟蹤了其他目標而導致的跟蹤失敗問題難以解決。

因此，現有技術還有待于改進和發展。

發明內容

本發明要解決的技術問題在于，針對現有技術的上述缺陷，提供一種人機交互系統及其實時手勢跟蹤處理方法，本發明可解決手等非鋼體目標在普通單攝像頭下的跟蹤與檢測不準確的問題，并可解決由于光照和背景復雜而帶來的跟蹤失敗問題，利用計算機視覺與圖像處理技術實現了自動的人手檢測、跟蹤與手勢識別，實時、魯棒、易于實現和操作，能使計算機用戶通過手部姿態與計算機進行更自然、更直觀、更智能的交互。

本發明解決技術問題所采用的技術方案如下：

一種人機交互系統的實時手勢跟蹤處理方法，其中，包括步驟：

A、獲取用戶側的圖像信息并進行相應的圖像降噪和增強處理；

B、對經過處理的圖像信息通過手勢檢測單元進行人手檢測，完成手勢與背景的分離，并通過視覺算法在圖像信息中自動確定包圍人手的一個較小矩形框為感興趣區域；

C、通過手勢跟蹤單元，在所述圖像信息中的感興趣區域完成手勢特征點的亞像素級跟蹤，在視頻序列中計算出每幀的人手輪廓狀態；

D、根據計算出的人手輪廓狀態進行人手動作的有效性檢測，并進行手勢識別以對用戶完成某個預定義手勢的軌跡進行分類，確定用戶完成的手勢動作；

E、根據確定的手勢動作生成相應的手勢動作控制指令，并將該手勢動作控制指令發送至三維用戶界面；

F、三維用戶界面根據所述手勢動作控制指令做出相應反饋。

所述的人機交互系統的實時手勢跟蹤處理方法，其中，所述步驟A之前還包括，a、立體影像顯示單元顯示三維立體影像及三維用戶圖形界面。

所述的人機交互系統的實時手勢跟蹤處理方法，其中，所述步驟A具體包括：

A1、視頻圖像獲取單元獲取用戶所在環境深度圖像信息；

A2、通過圖像處理單元對視頻圖像獲取單元獲取的圖像信息進行去噪與目標增強處理。