[發明專利]基于手勢和語音識別控制的人機交互方法及其設備和應用

在審

• 申請號: 201310576314.1
• 申請日: 2013-11-18
• 公開（公告）號: CN104656877A
• 公開（公告）日: 2015-05-27
• 發明（設計）人: 李君
• 申請（專利權）人: 李君
• 主分類號: G06F3/01
• 分類號: G06F3/01;G10L15/26
• 代理公司: 北京匯智英財專利代理事務所(普通合伙) 11301
• 代理人: 牟長林

1.一種基于手勢控制和語音識別控制的人機交互方法，其特征在于，包括步驟：

（1）通過跟蹤手的位置進行空間三維精細定位；

（2）定位后通過識別的語音指令作為觸發指令來觸發相應事件，以避免觸發相應事件時觸發指令影響定位的穩定性。

2.如權利要求1所述的人機交互方法，其特征在于：步驟（2）中，還包括跟蹤手的連續運動來識別出手勢指令以觸發相應事件。

3.如權利要求2所述的人機交互方法，其特征在于：步驟（2）中，還包括用識別到的語音指令和手勢指令共同作為觸發指令來觸發相應事件。

4.如權利要求2所述的人機交互方法，其特征在于：步驟（2）中，所述手勢指令包括手勢組合指令。

5.如權利要求1所述的人機交互方法，其特征在于，還包括步驟：

（3）跟蹤頭部或眼睛的視線來變換場景渲染角度；

或

（3＇）跟蹤頭部或眼睛的視線來切換場景中虛擬攝像機的位置、角度。

6.一種實現權利要求1-5中任一種人機交互方法的設備，其特征在于，包括分別與中央處理器連接的：

攝像裝置，跟蹤手的位置并獲得手的位置信息和/或跟蹤手的連續運動；

定位裝置，通過攝像裝置跟蹤手的位置得到的手的位置信息進行空間三維精細定位；

拾音裝置，識別并獲得語音指令；

觸發裝置，其中設有語音指令觸發裝置和/或手勢指令觸發裝置，根據拾音裝置識別得到的語音指令和/或攝像裝置跟蹤手的連續運動獲得的手勢指令來觸發相應事件。

7.如權利要求6所述的設備，其特征在于：所述攝像裝置為體感傳感器或攝像頭。

8.如權利要求6所述的設備，其特征在于：所述拾音裝置為語音傳感器或麥克風。

9.一種權利要求1-5中任一種人機交互方法在常用軟件中的應用，其特征在于：通過手的定位來實現鼠標移動的功能，通過語音指令和/或手勢指令來實現鼠標左右鍵的功能。

10.如權利要求9所述的應用，其特征在于：所述常用軟件包括電子游戲軟件。