[發明專利]一種適用于視覺伺服插拔作業的標定方法

有效

• 申請號: 201811333888.5
• 申請日: 2018-11-09
• 公開（公告）號: CN109318234B
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 林偉陽;鄧肖珂;邱劍彬;佟明斯;李湛;高會軍
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 劉冰

1.一種適用于視覺伺服插拔作業的標定方法，其特征在于：所述方法通過以下步驟實現：

步驟一、標定準備工作：

為機器人機械臂末端關節設置插頭夾持裝置，插頭夾持裝置的兩個對稱的夾子上分別設置一標定板，機器人機械臂上還安裝有相機，相機對準目標，且相機視野范圍內包含插口與插頭夾持裝置；其中，目標是指插入了插針的插口；

步驟二、利用相機采集包含插針、插口和插頭夾持裝置的圖像；其中，采集圖像過程中利用激光光源提供光照，且將激光光源對準插頭夾持裝置及插口；

步驟三、利用深度學習算法進行特征識別，分別獲得插口中每個插針的中心點(x_p1,y_p1)和(x_p2,y_p2)，以及插頭夾持裝置上每個標定板的中心點(x_b1,y_b1)和(x_b2,y_b2)；

步驟四、由插針的中心點計算插口中點(x_dm,y_dm)坐標以及插口偏角θ_d；并由插頭夾持裝置上每個標定板的中心點計算插頭夾持裝置中點以及插頭夾持裝置偏角θ_b；

步驟五、將步驟四獲得的插口中的點坐標由圖像坐標系轉移到機器人機械臂末端關節坐標系當中；

首先，將點轉移到像平面坐標系；

然后，將插口中點坐標(x_dm,y_dm)轉移到相機末端關節坐標系當中，獲得插口中點在機器人末端坐標系的坐標

步驟六、在末端坐標系中計算視覺伺服圖像特征誤差：

利用獲得的插針特征點和插口偏角θ_d，以及標定板特征點和插頭夾持裝置偏角θ_b，計算視覺伺服中的圖像誤差，并將該誤差點以及誤差角度θ_err作為視覺伺服特征；

步驟七、將視覺伺服特征發送給機器人視覺伺服算法，進而在機器人的主控制程序中控制機器人運動。

2.根據權利要求1所述的一種適用于視覺伺服插拔作業的標定方法，其特征在于：所述的步驟一中機器人機械臂上還安裝有相機具體為，機器人機械臂末端關節上還安裝有相機。

3.根據權利要求1或2所述的一種適用于視覺伺服插拔作業的標定方法，其特征在于：所述的步驟三中利用深度學習算法進行特征識別時，是采用pyTorch搭建的神經網絡進行插口位置以及插頭夾持裝置的位置的識別的。

4.根據權利要求3所述的一種適用于視覺伺服插拔作業的標定方法，其特征在于：所述的步驟四中由插針的中心點計算插口中點(x_dm,y_dm)坐標以及插口偏角θ_d的計算公式如下：

同理，計算插頭夾持裝置中點以及插頭夾持裝置偏角θ_b。

5.根據權利要求1、2或4所述的一種適用于視覺伺服插拔作業的標定方法，其特征在于：所述的步驟五中將插口中點坐標(x_dm,y_dm)轉移到相機末端關節坐標系當中，獲得插口中點在機器人末端坐標系的坐標具體為：

將插口中點坐標(x_dm,y_dm)進行轉換的公式為：

獲得插口中點在機器人末端坐標系的坐標用于視覺伺服過程，插口偏角θ_d不做轉換。

6.根據權利要求5所述的一種適用于視覺伺服插拔作業的標定方法，其特征在于：所述的步驟六中計算視覺伺服中的圖像誤差的過程為，通過如下公式進行計算：

θ_err＝θ_b-θ_d

將該誤差點以及誤差角度θ_err作為視覺伺服特征。

7.根據權利要求6所述的一種適用于視覺伺服插拔作業的標定方法，其特征在于：所述的步驟七中，將視覺伺服特征發送給機器人視覺伺服算法，進而在機器人的主控制程序中控制機器人運動的過程為：

步驟七一、先控制機器人到插頭與插口組裝作業位置附近，保證相機視野中包含標定板與插口，且標定板在標定過程中不會再遮擋插口；

步驟七二、控制機器人使操作端末端距離插口位置的高度固定，且機器人操作端末端插頭夾持裝置上的兩個標定板所在平面平行于插口上口所在平面；

步驟七三、機器人進行視覺伺服，通過深度學習方法來識別標定板與插口，并通過TCP/IP協議發送給機器人控制器，機器人控制器的TCP/IP接收程序首先接收識別點，然后在所述程序當中將接受到的識別點轉化為視覺伺服過程當中所需要的圖像特征信息，并傳給機器人控制主程序以供視覺伺服指令使用；

步驟七四、待伺服完成，在程序的配置文件中記錄此時圖像中插頭夾持裝置與插口對準重合時的中心的位置以及偏角，即為插頭夾持裝置中點以及插頭夾持裝置偏角θ_b。