[發明專利]基于視覺的工業機械臂人機安全系統

有效

• 申請號: 201910448748.0
• 申請日: 2019-05-27
• 公開（公告）號: CN110253570B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 歐林林;來磊;禹鑫燚;吳加鑫;金燕芳
• 申請（專利權）人: 浙江工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;黃美娟

1.基于視覺的工業機械臂人機安全系統，其特征在于：包括：用于捕捉運動物體各個時刻空間位置的運動物體跟蹤模塊，用于獲取機器人關節信息并對機器人進行3D可視化的機器人運動可視化模塊，用于機器人3D模型與環境中的人之間的最小距離計算的碰撞檢測模塊，用于進行機器人運動軌跡規劃和修正的碰撞避免模塊；

其中，所述運動物體跟蹤模塊，首先根據兩個深度相機采集的機械臂工作空間圖像，采用背景差分的方法從深度圖中提取前景，將前景的深度圖轉化為點云圖從而進行聚類，并根據點云的數量以及高度信息提取出人或者其它障礙物；具體操作步驟如下：

11)首先使用兩個深度相機捕獲機器人靜態環境下的深度圖，即沒有人也沒有任何動態的障礙物的環境下的深度圖；

12)利用實時模型去除法，即real-time urdf filter，對步驟11）的深度圖進行處理，將機器人本身從深度圖中去除；

13)重復步驟11）、12），得到多張深度圖，然后取其平均值來減小噪聲的影響，并作為環境背景；

14)將步驟13）得到的環境的背景與新獲得的去除了機器人本身的深度圖做減法運算，從而提取出環境中的前景；

15)使用PCL庫中提供的深度圖轉換成點云圖的接口，將兩個相機的前景融合并轉換成點云圖；

16)將步驟15）中獲得的點云進行降采樣，并進行聚類，最后根據點云的數量以及高度提取出屬于人的點云或者其它障礙物的點云；

所述機器人運動可視化模塊，機器人運動可視化模塊通過3D模塊監控機器人，并完成機器人三維模型的構建；首先對機器人底座進行標定，獲得機器人相對于建模環境的位置；接著從機器人控制器中檢索機器人在人機共存環境中的各個關節的數據信息，恢復機器人各個關節的位置，最后通過3D模型進行可視化；變換矩陣關系如下：

其中T表示各個坐標系之間的轉換矩陣，式中表示標定板與相機之間的轉換矩陣，可通過已標定的相機內參計算得到；為機器人底座與機器人末端的轉換矩陣，可以通過機器人正運動學得到；為機器人底座與相機之間的轉換矩陣，即需要求解的外參矩陣；為機器人末端與標定板坐標之間的轉換關系，需要多次采樣將其消去，最終獲得只有的方程組；最后，機器人運動可視化模塊從機器人控制器中讀取機器人各個關節的位置數據，對機器人的3D模型進行可視化構建；

所述碰撞檢測模塊，對運動物體跟蹤模塊采集到的人或其它障礙物的點云數據以及機器人運動可視化模塊構建的3D模型，使用軸對齊包圍盒法劃分成若干個包圍盒，進行最小距離檢測，具體步驟如下：

21)將動態障礙物點云信息和3D機器人模型放到同一坐標系下，進行組合；

22)選取動態障礙物點云圖的兩個相對角點，一個點由所有點坐標的最大值組成，另一個點由最小值組成，構建一個軸對齊包圍盒；22），將動態障礙物分割成i個軸對齊包圍盒，計算每個包圍盒的中心坐標和對應包圍球的半徑；

機器人的3D模型進行上述步驟22和23中對動態障礙物點云信息的相同操作，每個包圍盒的中心坐標記為對應包圍球的半徑記為，距離判斷公式如下：

(2)

上述公式，若其計算值小于0，則表示人和機器人發生了碰撞，反之則兩者相互分離；

所述碰撞避免模塊，根據碰撞檢測模塊中得到的人機最小距離，進行安全性判斷，并采用人工勢場法，對有可能發生的碰撞進行局部路徑規劃和修正；最終將修正后的路徑轉換成運動指令傳輸給機器人運動控制器，控制機器人對人機協作中可能發生的碰撞作出反應；

情況1：人快速接近機械臂；當以速度接近機械臂時，系統規劃的新路徑不能保證人體的安全，機械臂執行向后方遠離人的指令，其中，為人機相對危險速度；

情況2：人緩慢接近機械臂；當人以速度，通過使用人工勢場法，預測人的運動軌跡，并產生以避免碰撞的新路徑；系統將計算包含一段時間內所有可能的運動軌跡的邊界球體；在這種情況下，機器人要避開的對象是邊界球而不是人；如果人突然加速，系統應該對情況1做出反應；

情況3：人是靜止的；開始時，系統判斷人是否會妨礙機械臂的運動；若存在障礙，則應使用人工勢場法生成新路徑；若人是靜止的，所以機器人不需要避開邊界球，系統計劃更短更有效的路徑；如果人突然以移動，系統做出情況1的反應；當人突然以移動，系統針對這一動作，做出情況2的反應。