[發明專利]一種人機協作機器人系統

有效

• 申請號: 201710248017.2
• 申請日: 2017-04-17
• 公開（公告）號: CN107097227B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 陶永;謝先武;陳友東;魏洪興;熊禾根;劉輝;高進芃;謝光;許曦;房增亮
• 申請（專利權）人: 北京航空航天大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J13/08;G06F3/01;G06K9/62
• 代理公司: 11108 北京太兆天元知識產權代理有限責任公司
• 代理人: 張洪年<國際申請>=<國際公布>=<進入

本發明提供了一種人機協作機器人系統，包括凝視跟蹤組件、目標識別定位組件、意圖預測組件、預期運動規劃組件。凝視跟蹤組件通過眼動儀跟蹤捕獲機器人使用者的凝視焦點；目標識別定位組件分析凝視數據確定機器人使用者所注視的區域，并對區域內的目標進行檢測和識別；意圖預測組件對機器人使用者關注的目標和使用者的真實意圖之間的相關性進行建模，判斷出機器人使用者的意圖；預期運動規劃組件利用意圖預測組件提供的預測值對機器人進行運動規劃。所述人機協作機器人系統，在人機協作場景中，使機器人系統能夠監測操作者的注視模式并預測任務意圖，并基于這些預測執行相應的預期運動，實現機器人與機器人使用者之間的流暢、高效的協作。

技術領域

本發明屬于計算機視覺與工業機器人的交叉領域，具體地，本發明涉及一種人機協作機器人系統。

背景技術

機器人工業自動化在大規模制造中取得了顯著的成功，因為它在諸如焊接，切割，沖壓，噴漆，重材料處理，精密材料加工等任務中具有顯著的優勢。機器人自動化在大規模制造中的成功已導致將機器人自動化的使用擴展到中小型制造企業(“中小型企業”)的長期愿望。然而，與大規模制造相比，中小型企業的生產方法通常特征在于小批量、定制化、短周期，沒有太多的資金對生產線進行大規模改造，并且對產品的投資回報率更為敏感。這要求機器人具有較低的綜合成本、快速部署、簡單上手的使用方法，而這些，傳統機器人很難滿足。

此外，在某些機器人應用的新興行業中，即使是大企業也面臨與中小企業同樣的問題，3C產業是這個方面的典型代表。3C市場中如手機、平板、可穿戴設備等主流產品的更新換代速度非常快，基本上生命周期只有1～2年，短的甚至只有幾個月。如果采用傳統機器人方案，建設相應的生產線需要投入大量資源、大量時間，并且有可能連成本都沒收回來，所生產的產品就該從市場退出了。而如果對生產線再進行改造，又要投入巨大的資源，這是企業不能接受的。除了資金投入，3C行業很多時候更關心時間，常見機器人自動化改造方案耗時1個月到數個月不等，但3C產品無法在每一次換代都等待這么久。

這些新興行業中的特點是產品種類很多、體積普遍不大、對操作人員的靈活度/柔性要求高。現有的機器人很難在成本可控的情況下給出性能滿意的解決方案，因此需要提供靈活、有效的人機交互協作系統。由人類負責對柔性，觸覺，靈活性要求比較高的工序，機器人則利用其快速、準確的特點來負責重復性的工作。

發明內容

為了解決以上現有技術中存在的問題，本發明提供了一種人機協作機器人系統，涉及監視機器人操作者注視模式，預測操作者任務意圖，并根據預測的操作者意圖主動控制機器人執行任務，作為使用直接、明確的操作者輸入的反應控制方法的替代。對于機器人，這個方法使他們主動推斷操作者的需求以及在正確的時間自動采取相應的動作，以實現更無縫協作。

一種人機協作機器人系統，包括：通過通信鏈路連接的凝視跟蹤組件、目標識別定位組件、意圖預測組件和預期運動規劃組件，其中：

所述凝視跟蹤組件捕獲跟蹤眼睛的凝視數據；

所述目標識別定位組件分析凝視數據，確定機器人操作者所注視的區域，并對所述機器人操作者所關注區域內的目標進行檢測和識別；

所述意圖預測組件推斷機器人操作者意圖并且提供置信度；

所述預期運動規劃組件基于所述意圖預測組件提供的置信度對機器人進行運動規劃，完成協作任務。

進一步的，所述凝視跟蹤組件包括眼動儀，用于執行雙目瞳孔跟蹤、三維重建環境和與其它組件進行交互通信，機器人操作者的凝視位置以紅點體現在所述三維重建環境和中，通過雅可比矩陣方法和預定義的Aruco標記實現三維重建環境和物理任務空間中的位置與環境項目之間的映射關聯。

進一步的，所述目標識別定位組件包括視覺行為分類器、注意力提取部分和目標識別部分。

進一步的，所述視覺行為分類器區分意圖注視行為和無意識注視行為。