[發明專利]基于混合傳感器的人機交互方法

有效

• 申請號: 201310047285.X
• 申請日: 2013-02-06
• 公開（公告）號: CN103112007A
• 公開（公告）日: 2013-05-22
• 發明（設計）人: 張平;杜廣龍;盧曉敏
• 申請（專利權）人: 華南理工大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J19/04
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍

1.基于混合傳感器的人機交互方法，其特征在于，包括以下步驟：

S1、實時獲取并處理操作員通過手部運動進行機器人操作任務過程中的RGB圖像和深度圖像，得到操作員的手部位置；

S2、使用慣性測量儀測量操作員的手部姿態，并結合四元數算法和卡爾曼濾波對姿態數據進行估計，從而得到穩定的操作員的手部姿態；

S3、根據上述步驟獲取的操作員手部位姿驅動機器人。

2.根據權利要求1所述的基于混合傳感器的人機交互方法，其特征在于，所述步驟S1包括：

操作員通過手部運動進行機器人操作任務時，由固定在操作員前面的Kinect捕獲RGB圖像和深度圖像，連續處理該過程中的RGB圖像和深度圖像實現人手跟蹤和定位；Kinect有三種自動對焦攝像頭：兩個優化深度檢測的紅外攝像頭和一個標準的用于視覺識別的視覺光譜攝像頭；

從深度圖像中提取人體骨架關節點；所提取出來的這十五個關節點從上到下和從左到右排序為：（1）頭；（2）肩中心；（3）右肩；（4）右手肘；（5）右手腕；（6）左肩；（7）左手肘；（8）左手腕；（9）髖關節中心；（10）右髖；（11）右膝；（12）右腳；（13）左髖；（14）左膝；（15）左腳；這十五個關節點的坐標被稱為Kinect坐標；操作員右手的位置定義為右手腕P₅的位置，將肩關節P₃作為參考點并構建參考點的右手框架；

相對于參考點的P₅位置P′₅為：

P′₅=P₅-P₃???????????????????????????(1)

設定右手相對于右肩的移動范圍為WRH1<x<WRH2,]]>HRH1<y<HRH2,]]>LRH1<z<LRH2,]]>而機器人的移動范圍為WRR1<x<WRR2,]]>HRR1<y<HRR2,]]>LRR1<z<LRR2,]]>機器人移動范圍的映射點為：

RxR=(P8_x′-WRH1)(WRH2-WRH1)·(WRR2-WRR1)+WRR1RyR=(P8_y′-HRH1)(HRH2-HRH1)·HRR2-HRR1+HRR1RzR=(P8_z′-LRH1)(LRH2-LRH1)·(LRR2-LRR1)+LRR1.---(2)]]>