[發明專利]基于手勢識別的人機交互方法及裝置、系統

在審

• 申請號: 201710552331.X
• 申請日: 2017-07-07
• 公開（公告）號: CN107357428A
• 公開（公告）日: 2017-11-17
• 發明（設計）人: 張勇
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京律智知識產權代理有限公司11438
• 代理人: 袁禮君,姜怡

1.一種基于手勢識別的人機交互方法，其特征在于，包括：

獲取用戶的手勢圖像；

根據所述手勢圖像識別所述用戶伸出的手指數量；

根據所述用戶伸出的手指數量發送相應的預設控制指令。

2.根據權利要求1所述的基于手勢識別的人機交互方法，其特征在于，獲取用戶的手勢圖像包括：

通過Leap Motion體感控制器的雙目攝像頭采集所述用戶的手勢圖像；

將所述用戶的手勢圖像發送至處理終端。

3.根據權利要求1所述的基于手勢識別的人機交互方法，其特征在于，根據所述手勢圖像識別所述用戶伸出的手指數量包括：

利用Processing編程語言讀取所述手勢圖像；

根據所述手勢圖像獲取深度圖像；

根據所述深度圖像獲取手部圖像；

根據所述手部圖像進行手勢建模，實現對手勢的實時跟蹤；

根據跟蹤結果對所述用戶伸出的手指數量進行識別。

4.根據權利要求3所述的基于手勢識別的人機交互方法，其特征在于，根據跟蹤結果對所述用戶伸出的手指數量進行識別包括：

以所述用戶的手掌中心點為質心，獲取手掌輪廓的凸點；

根據所述凸點提取所述手掌輪廓的凹點；

當凸點與相鄰的凹點之間的夾角角度小于預定義閾值時，判定所述凸點為指尖；

根據檢測到的指尖個數獲得所述用戶伸出的手指數量。

5.根據權利要求1所述的基于手勢識別的人機交互方法，其特征在于，所述預設控制指令發送至自平衡機器人，用于控制所述自平衡機器人的運動狀態。

6.根據權利要求1所述的基于手勢識別的人機交互方法，其特征在于，所述方法還包括：預先存儲所述用戶伸出的手指數量與所述預設控制指令之間的映射關系。

7.根據權利要求6所述的基于手勢識別的人機交互方法，其特征在于，預先存儲所述用戶伸出的手指數量與所述預設控制指令之間的映射關系包括：

當所述用戶伸出的手指數量為一根時，所述預設控制指令為停止指令；和/或

當所述用戶伸出的手指數量為二根時，所述預設控制指令為后退指令；和/或

當所述用戶伸出的手指數量為三根時，所述預設控制指令為左轉指令；和/或

當所述用戶伸出的手指數量為四根時，所述預設控制指令為右轉指令；和/或

當所述用戶伸出的手指數量為五根時，所述預設控制指令為停止指令；和/或

當所述用戶伸出的手指數量為六根時，所述預設控制指令為左旋轉指令；和/或

當所述用戶伸出的手指數量為七根時，所述預設控制指令為右旋轉指令。

8.一種基于手勢識別的人機交互裝置，其特征在于，包括：

手勢圖像獲取模塊，用于獲取用戶的手勢圖像；

手勢識別模塊，用于根據所述手勢圖像識別所述用戶伸出的手指數量；

控制指令發送模塊，用于根據所述用戶伸出的手指數量發送相應的預設控制指令。

9.一種基于手勢識別的人機交互系統，其特征在于，包括Leap Motion體感控制器、處理終端和自平衡機器人，所述處理終端分別與所述Leap Motion體感控制器和所述自平衡機器人連接；其中，

所述Leap Motion體感控制器包括雙目攝像頭，其用于采集用戶的手勢圖像并發送至所述處理終端；

所述處理終端根據所述用戶的手勢圖像識別所述用戶伸出的手指數量，并根據所述用戶伸出的手指數量選擇相應的預設控制指令并發送至所述自平衡機器人；

所述自平衡機器人根據接收到的所述預設控制指令實現其運動狀態的調整。

10.根據權利要求9所述的基于手勢識別的人機交互系統，其特征在于，所述自平衡機器人包括藍牙模塊，其用于使所述自平衡機器人和所述處理終端之間建立數據通信通道。