[發(fā)明專利]基于環(huán)境感知的實時多任務多人人機交互系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202111115194.6
• 申請日: 2021-09-23
• 公開（公告）號: CN113829343B
• 公開（公告）日: 2023-09-29
• 發(fā)明（設計）人: 歐林林;張旭環(huán);許成軍;張鑫;禹鑫燚
• 申請（專利權）人: 浙江工業(yè)大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

基于多人人體姿態(tài)估計器的多人人機協(xié)作交互系統(tǒng)，包括感知模塊、控制模塊、決策模塊；感知模塊通過相機去感知人機交互中的多人人體姿態(tài)信息和機器人位置信息；將獲取的人機姿態(tài)信息傳遞給決策模塊和控制模塊，決策模塊結合任務需求對收集到的人體姿態(tài)和機器人狀態(tài)進行監(jiān)聽(GUI)和更新，并反饋到感知模塊，同時更新人機狀態(tài)；控制模塊通過獲取決策模塊提供的目標位置信息和感知模塊提供的機器人當前狀態(tài)信息，對當前機器人任務路徑重新規(guī)劃，將更新后的任務軌跡通過機器人控制器發(fā)送到真實機械臂，同時將機器人的更新后的狀態(tài)信息反饋給決策模塊。GUI是用來可視化相關的實驗結果，如相機視頻流等。

技術領域

本發(fā)明涉及基于環(huán)境感知的實時多任務多人人機交互技術，具體涉及一種基于多人人體姿態(tài)估計器的多人人機協(xié)作交互系統(tǒng)。

背景技術

目前，在大部分自動化生產過程中，機器人依靠事先編寫好的程序代替人類進行簡單且重復的工作，機器人暴露在人員可能活動的范圍中，工作人員存在潛在的危險。為保證人員安全，需要給機器人設置圍欄，但仍無法保證人機絕對安全，也降低了空間利用率。

傳統(tǒng)工業(yè)機器人的技術發(fā)展進入了瓶頸期，為了進一步提高產能，人與機器人共同協(xié)作的靈活生產模式逐漸受到了更多的關注。而現有的人機交互系統(tǒng)只針對單人人機交互，且無法滿足人機交互中的動態(tài)需求。

發(fā)明內容

本發(fā)明要克服現有的人機交互系統(tǒng)只針對單人人機交互，以及無法滿足人機交互中的動態(tài)需求的問題。基于單目相機的人體姿態(tài)識別技術研究，結合多任務的多人人機協(xié)作需求，設計并實現了一種人機協(xié)作系統(tǒng)。

本發(fā)明為解決現有技術問題所采用的技術方案是：

整個軟件系統(tǒng)通過ROS(Robot?Operating?System)開源平臺搭建完成，整體的系統(tǒng)架構由附圖1給出。

該系統(tǒng)包括感知模塊、控制模塊、決策模塊。首先，感知模塊通過相機去感知人機交互中的多人人體姿態(tài)信息和機器人位置信息(有時可能需要物體的位置)；其次，將獲取的人機姿態(tài)信息傳遞給決策模塊和控制模塊，決策模塊結合任務需求對收集到的人體姿態(tài)和機器人狀態(tài)進行監(jiān)聽(GUI)和更新，并反饋到感知模塊，同時更新人機狀態(tài)；進一步，控制模塊通過獲取決策模塊提供的目標位置信息和感知模塊提供的機器人當前狀態(tài)信息，對當前機器人任務路徑重新規(guī)劃，將更新后的任務軌跡發(fā)送到真實機械臂，同時將機器人的更新后的狀態(tài)信息反饋給決策模塊。GUI是用來可視化相關的實驗結果，如相機視頻流等。

各個模塊功能的具體解析如下。

所述感知模塊：首先對整體系統(tǒng)進行標定，包括相機和機器人位置。通過人機姿態(tài)表示方法對機器人和人的表示做出相應的規(guī)定，然后進行多人人體姿態(tài)估計、識別和跟蹤，其中姿態(tài)估計是為了得到人機交互中人的關節(jié)位置信息，而識別和跟蹤則是用來識別場景中的操作人員和非操作人員(包括不相關場外人員干擾)。

1)坐標系標定：是HRI系統(tǒng)確定任意剛體變換的基礎，標定過程將確定機器人相對于攝像機的位置和方向，如附圖2所示。設w為世界坐標，c為攝像機坐標，r₀為機器人的基坐標，h₀為人類的根關節(jié)。對于固定攝像機和機器人，可以通過機器人手眼標定方法計算變換矩陣單目相機外參矩陣表示攝像機c相對于世界坐標w的變換。那么機器人的基坐標到世界坐標的變換表示為公式1，變換是常數矩陣。

2)人機姿態(tài)表示：在坐標系標定完成之后，對人機姿態(tài)表示方法進行研究。機器人可以看作是一個串聯(lián)的剛體連桿運動系統(tǒng)，父連桿和子連桿由單個自由度的旋轉關節(jié)連接。通過對機器人的正運動學分析，可以實現從基坐標到子連桿坐標的變換。子關節(jié)r_j和機器人基坐標r₀之間的變換關系可以表示為：