[發明專利]基于手勢識別的人機交互方法及裝置、系統

在審

• 申請號: 201710552331.X
• 申請日: 2017-07-07
• 公開（公告）號: CN107357428A
• 公開（公告）日: 2017-11-17
• 發明（設計）人: 張勇
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京律智知識產權代理有限公司11438
• 代理人: 袁禮君,姜怡

技術領域

本公開涉及計算機和通信技術領域，具體而言，涉及一種基于手勢識別的人機交互方法及裝置、系統。

背景技術

隨著科技的不斷發展，計算機將越來越廣泛地應用于各個領域，人機交互(Human-Comuputer Interaction)是讓計算機讀懂人類信息的主要途徑，也必將沿著“以計算機為中心”的方式向“以人為中心”的方式轉變，使人與計算機的信息交互達到人與人之間交流那樣自然和諧。人機交互涉及有關人和計算機之間的界面設計和實現的所有問題，包含語言、文字、圖像、手勢、表情等自然方式，涉及到計算機科學的多個學科方向(圖像處理、計算機視覺、編程語言等)。

自平衡機器人是一個欠驅動、非線性和在無電情況下不穩定的復雜系統，由車身與兩個獨立驅動的車輪組成，屬于輪式移動機器人的范疇。它具有體積小、機構簡單、運行靈活等優點，可以實現直立行走、任意半徑轉向等運動，能夠在狹窄和有大轉角的工作場合執行任務。因此，它在軍用和民用領域都有廣泛的應用前景，近年來成為移動機器人研究的熱點之一。

目前，公知的自平衡機器人大多由機械部分、傳感部分和遠程控制部分三部分組成。通過控制部分向自平衡機器人發出控制指令，自平衡機器人的機械部分根據指令移動，同時自平衡機器人的傳感部分探測和感知周圍環境的信息并展示給自平衡機器人的操作者。但是，一般的自平衡機器人遠程控制系統大多需要操縱者手動控制操縱手柄或者利用遠程控制界面屏幕上的按鈕來控制自平衡機器人的運動，人機交互手段不夠自然友好。

因此，現有技術中的技術方案還存在有待改進之處。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開的目的在于提供一種基于手勢識別的人機交互方法及裝置、系統，進而至少在一定程度上克服由于相關技術的限制和缺陷而導致的一個或者多個問題。

本公開的其他特性和優點將通過下面的詳細描述變得清晰，或者部分地通過本公開的實踐而習得。

根據本公開的一個方面，提供一種基于手勢識別的人機交互方法，包括：獲取用戶的手勢圖像；根據所述手勢圖像識別所述用戶伸出的手指數量；根據所述用戶伸出的手指數量發送相應的預設控制指令。

在本公開的一種示例性實施例中，獲取用戶的手勢圖像包括：通過Leap Motion體感控制器的雙目攝像頭采集所述用戶的手勢圖像；將所述用戶的手勢圖像發送至處理終端。

在本公開的一種示例性實施例中，根據所述手勢圖像識別所述用戶伸出的手指數量包括：利用Processing編程語言讀取所述手勢圖像；根據所述手勢圖像獲取深度圖像；根據所述深度圖像獲取手部圖像；根據所述手部圖像進行手勢建模，實現對手勢的實時跟蹤；根據跟蹤結果對所述用戶伸出的手指數量進行識別。

在本公開的一種示例性實施例中，根據跟蹤結果對所述用戶伸出的手指數量進行識別包括：以所述用戶的手掌中心點為質心，獲取手掌輪廓的凸點；根據所述凸點提取所述手掌輪廓的凹點；當凸點與相鄰的凹點之間的夾角角度小于預定義閾值時，判定所述凸點為指尖；根據檢測到的指尖個數獲得所述用戶伸出的手指數量。

在本公開的一種示例性實施例中，所述預設控制指令發送至自平衡機器人，用于控制所述自平衡機器人的運動狀態。

在本公開的一種示例性實施例中，所述方法還包括：預先存儲所述用戶伸出的手指數量與所述預設控制指令之間的映射關系。

在本公開的一種示例性實施例中，預先存儲所述用戶伸出的手指數量與所述預設控制指令之間的映射關系包括：當所述用戶伸出的手指數量為一根時，所述預設控制指令為停止指令；和/或當所述用戶伸出的手指數量為二根時，所述預設控制指令為后退指令；和/或當所述用戶伸出的手指數量為三根時，所述預設控制指令為左轉指令；和/或當所述用戶伸出的手指數量為四根時，所述預設控制指令為右轉指令；和/或當所述用戶伸出的手指數量為五根時，所述預設控制指令為停止指令；和/或當所述用戶伸出的手指數量為六根時，所述預設控制指令為左旋轉指令；和/或當所述用戶伸出的手指數量為七根時，所述預設控制指令為右旋轉指令。

根據本公開的一個方面，提供一種基于手勢識別的人機交互裝置，包括：手勢圖像獲取模塊，用于獲取用戶的手勢圖像；手勢識別模塊，用于根據所述手勢圖像識別所述用戶伸出的手指數量；控制指令發送模塊，用于根據所述用戶伸出的手指數量發送相應的預設控制指令。