[發明專利]一種人機交互系統及其實時手勢跟蹤處理方法

在審

• 申請號: 201110342972.5
• 申請日: 2011-11-03
• 公開（公告）號: CN102426480A
• 公開（公告）日: 2012-04-25
• 發明（設計）人: 劉遠民;陳大煒
• 申請（專利權）人: 康佳集團股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 深圳市君勝知識產權代理事務所 44268
• 代理人: 王永文;楊宏

1.一種人機交互系統的實時手勢跟蹤處理方法，其特征在于，包括步驟：

A、獲取用戶側的圖像信息并進行相應的圖像降噪和增強處理；

B、對經過處理的圖像信息通過手勢檢測單元進行人手檢測，完成手勢與背景的分離，并通過視覺算法在圖像信息中自動確定包圍人手的一個較小矩形框為感興趣區域；

C、通過手勢跟蹤單元，在所述圖像信息中的感興趣區域完成手勢特征點的亞像素級跟蹤，在視頻序列中計算出每幀的人手輪廓狀態；

D、根據計算出的人手輪廓狀態進行人手動作的有效性檢測，并進行手勢識別以對用戶完成某個預定義手勢的軌跡進行分類，確定用戶完成的手勢動作；

E、根據確定的手勢動作生成相應的手勢動作控制指令，并將該手勢動作控制指令發送至三維用戶界面；

F、三維用戶界面根據所述手勢動作控制指令做出相應反饋。

2.根據權利要求1所述的人機交互系統的實時手勢跟蹤處理方法，其特征在于，所述步驟A之前還包括，a、立體影像顯示單元顯示三維立體影像及三維用戶圖形界面。

3.根據權利要求1所述的人機交互系統的實時手勢跟蹤處理方法，其特征在于，所述步驟A具體包括：

A1、視頻圖像獲取單元獲取用戶所在環境深度圖像信息；

A2、通過圖像處理單元對視頻圖像獲取單元獲取的圖像信息進行去噪與目標增強處理。

4.根據權利要求1所述的人機交互系統的實時手勢跟蹤處理方法，其特征在于，所述步驟C中的人手輪廓狀態：包括位置、旋轉角、放縮量以及各個手指的長度和角度。

5.根據權利要求1所述的人機交互系統的實時手勢跟蹤處理方法，其特征在于，所述步驟D還包括:?手勢動作是否開始的判斷依據是在連續20幀的人手檢測結果里，有超過12幀檢測到人手處于同一個位置。

6.根據權利要求1所述的人機交互系統的實時手勢跟蹤處理方法，其特征在于，所述步驟D中的手勢動作包括：左移、右移、上移、下移。

7.根據權利要求1所述的人機交互系統的實時手勢跟蹤處理方法，其特征在于，所述步驟E中的根據確定的手勢動作生成相應的手勢動作控制指令包括：

E1、通過手勢位置的不動，來識別出該動作為點擊命令，生成相應的點擊控制指令；

E2、通過手勢位置的快速左移、右移、上移、下移來識別出左、右、上、下四個命令，生成相應的左移、右移、上移、下移控制指令；

E3、通過手勢位置的揮手來識別出關閉動作，生成相應的關閉控制指令。

8.一種人機交互系統，其特征在于，包括：

視頻圖像獲取單元，用于獲取用戶所在環境深度圖像信息；

圖像處理單元，用于對視頻圖像獲取單元獲取的圖像信息進行去噪與目標增強處理；

手勢檢測單元，用于對經過處理的圖像信息進行人手檢測，完成手勢與背景的分離，并通過視覺算法在圖像信息中自動確定包圍人手的一個較小矩形框為感興趣區域；

手勢跟蹤單元，用于在所述圖像信息中的感興趣區域完成手勢特征點的亞像素級跟蹤，在視頻序列中計算出每幀的人手輪廓狀態；

手勢效性檢測與手勢動作確認單元，根據計算出的人手輪廓狀態進行人手動作的有效性檢測，并進行手勢識別以對用戶完成某個預定義手勢的軌跡進行分類，確定用戶完成的手勢動作；

手勢指令控制命令生成單元，根據確定的手勢動作生成相應的手勢動作控制指令，并將該手勢動作控制指令發送至三維用戶界面；

立體影像顯示單元，用于顯示三維立體影像及三維用戶圖形界面，以及用于根據所述手勢動作控制指令做出相應反饋。

9.根據權利要求8所述的人機交互系統，其特征在于，所述視頻圖像獲取單元為攝像頭。

10.根據權利要求8所述的人機交互系統，其特征在于，所述人手輪廓狀態：包括位置、旋轉角、放縮量以及各個手指的長度和角度；

手勢指令控制命令生成單元進一步包括：

第一生成模塊，用于通過手勢位置的不動，來識別出該動作為點擊命令，生成相應的點擊控制指令；

第二生成模塊，用于通過手勢位置的快速左移、右移、上移、下移來識別出左、右、上、下四個命令，生成相應的左移、右移、上移、下移控制指令；

第三生成模塊，用于通過手勢位置的揮手來識別出關閉動作，生成相應的關閉控制指令。