[發明專利]一種基于立體視覺伺服的繞軸旋轉機構操作方法

有效

• 申請號: 201811025841.2
• 申請日: 2018-09-03
• 公開（公告）號: CN109176514B
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 程敏;王松;張國良;項導;王鋒;毛成林;林歡
• 申請（專利權）人: 億嘉和科技股份有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J9/10;G06T7/70
• 代理公司: 南京知識律師事務所 32207
• 代理人: 陳靜

1.一種基于立體視覺伺服的繞軸旋轉機構操作方法，其特征在于，包括以下步驟：

構建映射關系的步驟：建立基于深度相機的空間模型，構建圖像像素坐標與對應的空間坐標的映射關系；

獲得變換參數的步驟：標定深度相機在機械臂坐標系中的位置，獲得深度相機坐標系到機械臂坐標系的變換參數；

對目標進行粗定位的步驟：以待操作的繞軸旋轉機構為目標，根據初始的目標位置信息，進行目標的粗定位；

對目標進行精確定位的步驟：在粗定位的基礎上，利用目標在光學圖像當中的形態學特征，使用圖像處理的方法在二維平面當中對目標的旋轉中心精確定位，得到旋轉中心點坐標；

計算旋轉中心的三維坐標的步驟：根據圖像中精確定位的旋轉中心點坐標，結合圖像像素坐標與對應的空間坐標的映射關系，計算深度相機坐標系下繞軸旋轉機構表面上的旋轉中心的三維坐標；利用深度相機坐標系到機械臂坐標系的變換參數，將深度相機坐標系下繞軸旋轉機構表面上的旋轉中心的三維坐標以及繞軸旋轉機構的旋轉軸向量變換到機械臂坐標系下；

操作繞軸旋轉機構的步驟：根據機械臂坐標系下旋轉中心的三維坐標以及繞軸旋轉機構的旋轉軸向量，執行對應的機械臂動作序列，操作繞軸旋轉機構。

2.根據權利要求1所述的基于立體視覺伺服的繞軸旋轉機構操作方法，其特征在于：獲得變換參數的步驟，具體包括以下過程：

A1)調整機械臂的螺桿的位置至水平，正方向為機械臂朝向目標的正方向，保證標定模塊在深度相機視野范圍內且其平面法向量l_ref在機械臂坐標系中為(0,0,-1)，測量螺桿的末端到機械臂主座的距離，并在機械臂模型中將螺桿與主座的距離設置為實際的測量值；

A2)使用深度相機拍攝標定模塊，在標定模塊平面上選取N個像素，N值為標定模塊平面上框定區域內所有像素的總和，獲得三維點集合Point Set_N＝{(x_i,y_i,z_i)|i∈N}，其中x_i,y_i,z_i分別表示第i個像素在深度相機坐標系中的三維坐標；

A3)對三維點集合Point Set_N擬合的平面，獲得標定模塊在深度相機坐標系中的平面法向量I_target，計算l_ref與I_target的夾角α及β：

其中，I_x、I_y、I_z分別是平面法向量I_target的三個方向上的分量；

A4)在機械臂模型中，加入深度相機拍攝的三維實景圖，根據得到的深度相機坐標系下標定物的平面法向量I_target，設置機械臂模型角度的參數，使機械臂模型中螺桿末端與深度相機拍攝的三維實景圖中的螺桿末端平行；

A5)通過對比機械臂模型與深度相機拍攝的機械臂的三維實景圖的重合度，迭代調整機械臂模型的空間位置及角度，使模型與三維實景圖完全重合，調整產生的位移(Δx,Δy,Δz)和繞z軸旋轉的角γ以及α及β即為深度相機坐標系到機械臂坐標系的變換參數。

3.根據權利要求1所述的基于立體視覺伺服的繞軸旋轉機構操作方法，其特征在于：對目標進行精確定位的步驟，具體包括以下過程：

B1)利用目標的模板圖像I_template作為滑動窗，遍歷由深度相機拍攝的原圖I_src，使用模板匹配算法，通過模板圖像在拍攝的原圖上滑動卷積，獲得卷積結果的矩陣，矩陣中的最大值即為原圖中與模板圖像相關性最高的位置，從而定位目標在原圖當中的位置；

B2)對圖像做濾波和閾值分割操作，將目標與背景分離出來；

B3)根據步驟B2)中閾值分割將目標與背景分離出來產生的二值圖像，在二值圖像中尋找輪廓，篩選出符合條件的輪廓，將輪廓內的點作為中心像素集合；

B4)對中心像素集合計算重心，該重心的坐標即為旋轉中心點坐標。