[發明專利]一種人機協作機器人系統

有效

• 申請號: 201710248017.2
• 申請日: 2017-04-17
• 公開（公告）號: CN107097227B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 陶永;謝先武;陳友東;魏洪興;熊禾根;劉輝;高進芃;謝光;許曦;房增亮
• 申請（專利權）人: 北京航空航天大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J13/08;G06F3/01;G06K9/62
• 代理公司: 11108 北京太兆天元知識產權代理有限責任公司
• 代理人: 張洪年<國際申請>=<國際公布>=<進入

1.一種人機協作機器人系統，其特征在于，包括：通過通信鏈路連接的凝視跟蹤組件、目標識別定位組件、意圖預測組件和預期運動規劃組件，其中：

所述凝視跟蹤組件跟蹤捕獲眼睛的凝視數據；

所述目標識別定位組件分析凝視數據，確定機器人操作者所注視的區域，并對所述機器人操作者所關注區域內的目標進行檢測和識別；

所述意圖預測組件推斷機器人操作者意圖并且提供置信度；

所述預期運動規劃組件基于所述意圖預測組件提供的置信度對機器人進行運動規劃，完成協作任務；

所述凝視跟蹤組件包括眼動儀，用于執行雙目瞳孔跟蹤、三維重建環境和與其它組件進行交互通信，機器人操作者的凝視位置以紅點體現在所述三維重建環境和中，通過雅可比矩陣方法和預定義的Aruco標記實現三維重建環境和物理任務空間中的位置與環境項目之間的映射關聯；

所述目標識別定位組件包括視覺行為分類器、注意力提取部分和目標識別部分；

所述視覺行為分類器區分意圖注視行為和無意識注視行為；

所述注意力提取部分從所述意圖注視行為的凝視數據提取注意力信息，通過反向最小生成樹將關注范圍內的目標點聚類，使用自適應滑動窗口過濾器過濾原始凝視點，以消除疊加的掃視和非有意的眼睛運動的影響，用圓形將注意力群集等效表示出來，凝視目標完全或部分地在圓形區域中，且具有最大值的凝視點的群集作為機器人操作者所注視的區域。

2.根據權利要求1所述的人機協作機器人系統，其特征在于，所述目標識別部分將所述機器人操作者所注視的區域與場景圖像重疊，并且通過深度學習網絡算法識別機器人操作者的有意注視目標。

3.根據權利要求2所述的人機協作機器人系統，其特征在于，所述意圖預測組件包括分別由語義知識和行為知識構成的兩個意圖知識庫，均通過樸素貝葉斯圖形概率模型建立；通過樸素貝葉斯分類器，基于所述目標識別定位組件發送來的有意注視目標，計算每個可能意圖的條件概率，將最大概率作為置信度發送給所述預期運動規劃組件。