[發明專利]一種人機交互系統、方法及裝置

有效

• 申請號: 201610004024.3
• 申請日: 2016-01-04
• 公開（公告）號: CN105487673B
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 盧永春
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京中博世達專利商標代理有限公司11274
• 代理人: 申健

1.一種人機交互系統，其特征在于，包括：可穿戴設備和顯示設備；

所述可穿戴設備包括圖像采集模塊、存儲器、處理器、圖像投射模塊、信息發送接口；

所述圖像采集模塊連接所述處理器，用于采集用戶的當前手勢圖像和所述顯示設備的顯示圖像；

所述處理器連接所述存儲器，用于將所述當前手勢圖像與所述存儲器中預存的手勢數據庫中的手勢進行匹配，確定匹配的手勢的手勢類別，確定與所述手勢類別對應的控制指令，根據所述控制指令，生成與所述控制指令對應的虛擬工具圖像；

所述圖像投射模塊連接所述處理器，用于投射出包括所述虛擬工具圖像和所述顯示圖像的虛擬圖像；

所述信息發送接口連接所述處理器，用于將所述控制指令發送給所述顯示設備；

所述顯示設備用于在接收到所述控制指令時，執行所述控制指令；

所述將所述當前手勢圖像與預存的手勢數據庫中的手勢進行匹配，確定匹配的手勢的手勢類別，具體包括，

根據當前手勢圖像，獲取當前手勢圖像的手勢邊緣輪廓和手勢運動軌跡；判斷當前手勢圖像的手勢邊緣輪廓和手勢運動軌跡，與預存的手勢的手勢邊緣輪廓和手勢運動軌跡是否匹配；當匹配時，確定預存的手勢的手勢類別為當前手勢圖像對應的手勢類別；當不匹配時，確定預存的手勢的手勢類別不是當前手勢圖像對應的手勢類別；

或者，

所述將所述當前手勢圖像與預存的手勢數據庫中的手勢進行匹配，確定匹配的手勢的手勢類別，具體包括，

根據所述當前手勢圖像，獲取所述當前手勢圖像的手勢邊緣輪廓和手勢運動軌跡，分別建立所述手勢邊緣輪廓和所述手勢運動軌跡的特征向量；提取所述手勢邊緣輪廓和所述手勢運動軌跡對應的特征向量的特征值；判斷所述手勢邊緣輪廓和所述手勢運動軌跡對應的特征值是否分別與預存的手勢的手勢邊緣輪廓和手勢運動軌跡手勢的特征值匹配；當匹配時，確定所述預存的手勢的手勢類別為所述當前手勢圖像對應的手勢類別；當不匹配時，確定所述預存的手勢的手勢類別不是所述當前手勢圖像對應的手勢類別。

2.根據權利要求1所述的人機交互系統，其特征在于，所述可穿戴設備為智能眼鏡，所述智能眼鏡包括鏡片和支撐所述鏡片的鏡框，所述圖像投射模塊集成在所述鏡片中，所述圖像采集模塊設置在所述鏡框上。

3.一種人機交互方法，其特征在于，包括：

可穿戴設備采集用戶的當前手勢圖像和顯示設備的顯示圖像；

將所述當前手勢圖像與預存的手勢數據庫中的手勢進行匹配，確定匹配的手勢的手勢類別，確定與所述手勢類別對應的控制指令；

根據所述控制指令，生成與所述控制指令對應的虛擬工具圖像；

投射出包括所述虛擬工具圖像和所述顯示設備的顯示圖像的虛擬圖像；

將所述控制指令發送給所述顯示設備，使得所述顯示設備執行所述控制指令；

所述將所述當前手勢圖像與預存的手勢數據庫中的手勢進行匹配，確定匹配的手勢的手勢類別，具體包括：

根據所述當前手勢圖像，獲取所述當前手勢圖像的手勢邊緣輪廓和手勢運動軌跡；

判斷所述當前手勢圖像的手勢邊緣輪廓和手勢運動軌跡，與預存的手勢的手勢邊緣輪廓和手勢運動軌跡是否匹配；

若匹配，則確定所述預存的手勢的手勢類別為所述當前手勢圖像對應的手勢類別；

若不匹配，則確定所述預存的手勢的手勢類別不是所述當前手勢圖像對應的手勢類別；

或者，

所述將所述當前手勢圖像與預存的手勢數據庫中的手勢進行匹配，確定匹配的手勢的手勢類別，具體包括：

根據所述當前手勢圖像，獲取所述當前手勢圖像的手勢邊緣輪廓和手勢運動軌跡，分別建立所述手勢邊緣輪廓和所述手勢運動軌跡的特征向量；

提取所述手勢邊緣輪廓和所述手勢運動軌跡對應的特征向量的特征值；

判斷所述手勢邊緣輪廓和所述手勢運動軌跡對應的特征值是否分別與預存的手勢的手勢邊緣輪廓和手勢運動軌跡手勢的特征值匹配；

若匹配，確定所述預存的手勢的手勢類別為所述當前手勢圖像對應的手勢類別；

若不匹配，確定所述預存的手勢的手勢類別不是所述當前手勢圖像對應的手勢類別。