[發明專利]基于單目視覺的機器人打釘位置補償方法及機器人打釘系統

有效

• 申請號: 202310369265.8
• 申請日: 2023-04-10
• 公開（公告）號: CN116117493B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 田威;葉昶君;張奇;王忠康;李鵬程
• 申請（專利權）人: 南京航空航天大學
• 主分類號: B23P19/04
• 分類號: B23P19/04;B25J9/16;G06T7/00;G06T7/13;G06T7/70
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 李戴昂

1.一種基于單目視覺的機器人打釘位置補償方法，其特征在于，包括如下步驟：

S1、建立基于單目視覺的機器人打釘系統硬件組態：機器人末端法蘭連接自動打釘槍安裝組件；自動打釘槍安裝組件上固定自動打釘槍；單目視覺測量設備和環形光源固定于自動打釘槍旁邊，且與自動打釘槍的頭部位置平行；

在機器人任務空間中，放置待打釘的上下工件，同時保證系統運行拍照過程中，釘孔一直存在于所述單目視覺測量設備的視野中；

S2、當工件初次進行打釘工序時，搭載所述自動打釘槍和所述單目視覺測量設備的機器人運動至釘孔處，通過示教使機器人在任務空間平面中打釘，記錄機器人位置P_T（x_t,y_t），并作為機器人理論打釘位置；

S3、運動機器人，使釘孔處于單目視覺測量設備的視野中央，拍攝釘孔圖像，作為理論釘孔圖像；對釘孔圖像進行處理識別，提取釘孔在單目視覺圖像中的二維位置P_B1（x_B1,y_B1）；

運動機器人至釘孔附近，調整機器人位置，使釘孔處于單目視覺測量設備的視野中央，拍攝釘孔圖片，作為理論釘孔圖像；

對理論釘孔圖像進行粗提取釘孔圖像平面位置坐標；

根據粗提取釘孔圖像平面坐標，截取感興趣區域，減少處理的數據量；

對感興趣區域做亞像素處理，精提取釘孔圖像平面位置；

S3-1、對理論釘孔圖像進行高斯濾波處理，減少圖像的噪聲；將處理過后的圖像進行canny算子檢測，檢測后得到梯度輪廓集合U；

對所述梯度輪廓集合U中的輪廓進行相似度拼接，所述梯度輪廓集合U中任意輪廓的終止點與集合中其他輪廓的初始點作圖像距離計算，小于預定像素時，評定為同一特征輪廓的斷裂情況，此時判定為同一輪廓；將符合規則的輪廓記為集合V；

S3-2、對集合V中的所有輪廓進行橢圓曲線擬合，對符合橢圓曲線的輪廓求解面積和圓度，通過理論面積范圍和圓度范圍對這些橢圓進行約束，將不符合要求的橢圓輪廓剔除，剩余的輪廓記為集合F；

S3-3、對集合F中的橢圓輪廓進行中心距離計算，通過中心距判斷是否為同心橢圓，如果有同心則將面積小于預定值的橢圓剔除，此時即得到最終粗提取的橢圓輪廓K；

S3-4、從所述理論釘孔圖像中提取感興趣區域，在S3-3的基礎上，設定感興趣區域在理論釘孔圖像的左上角坐標為（x₀-h/2+10，y₀-h/2+10），感興趣區域邊長為h+20；

其中，x₀表示橢圓輪廓K的中心點橫坐標，y₀表示橢圓輪廓K的中心點縱坐標，h表示橢圓輪廓K的長軸；

S3-5、精提取理論釘孔圖像位置坐標；將提取的感興趣區域圖像進行亞像素化處理，提高圖像像素級精度，計算感興趣區域圖像的梯度幅值和方向，得到感興趣區域特征的輪廓邊緣，使用粗提取得到的一般橢圓方程對亞像素輪廓邊緣點進行約束，符合條件的輪廓點形成集合Q，對集合Q重新進行橢圓曲線擬合，得到精提取橢圓的中心點（C_x,C_y），從而得到釘孔圖像二維位置；

S4、以拍攝理論釘孔圖像的所述機器人的當前位置為基礎，讓所述機器人在任務空間平面里，沿著機器人基座標系的+X和+Y方向運動δ距離，從而解算機器人任務空間平面P_A；

機器人運動至理論釘孔圖像的位置，作為機器人任務空間平面的原點，記為P_A1（x_A1,y_A1）；在機器人基座標系下，往+X方向運動δ_x至機器人任務空間第二點，記為P_A2（x_A2,y_A2）；在機器人基座標系下，往+Y方向運動δ_y至機器人任務空間第三點，記為P_A3（x_A3,y_A3）；根據機器人運動的三個位置建立機器人任務空間平面P_A為：

；

步驟S5進一步包括：

釘孔理論圖像所得到的二維圖像坐標為釘孔圖像平面的第一點，記為P_B1（x_B1,y_B1）；機器人運動至P_A2時，拍攝釘孔照片，所得的釘孔二維圖像坐標為釘孔圖像平面的第二點，記為P_B2（x_B2,y_B2）；機器人運動至P_A3時，拍攝釘孔照片，所得的釘孔二維圖像坐標為釘孔圖像平面的第三點，記為P_B3（x_B3,y_B3）；根據釘孔圖像的三個位置建立釘孔圖像平面P_B為：

；

S5、當機器人沿著基座標系運動時，同時使用所述單目視覺測量設備采集當前釘孔圖像，從圖像中精確提取釘孔二維位置，從而解算釘孔圖像平面P_B；

S6、根據平行平面之間的縮放-平移-旋轉運動，解算釘孔圖像平面與機器人任務空間平面之間的映射關系，如下：

為了將釘孔圖像平面映射到機器人任務空間平面，首先將圖像平面擴大K_c倍，得到擴大后的圖像平面；

當釘孔圖像平面與機器人任務空間平面比例一致時，下一步進行平移變換，分別計算釘孔圖像平面三點的重心坐標和機器人任務空間平面的重心坐標，兩重心坐標作差，得到圖像平面映射到機器人任務空間平面的平移算子d_T；此時釘孔圖像平面表示為；

為了使釘孔圖像平面坐標系的方向與機器人任務空間平面坐標系的方向相同，考慮旋轉因子，此時釘孔圖像平面表示為，；式中，R表示旋轉因子，表示的轉置；

此時釘孔圖像平面映射至機器人任務空間平面表達式如下：

；

S7、實際打釘時，使用所述單目視覺測量設備拍攝釘孔圖像，提取釘孔圖像平面位置，與理論釘孔平面位置比較，從而解算機器人任務空間平面的偏差E_PA；

機器人實際打釘時，運動至拍攝理論釘孔圖像的位置，拍攝實際釘孔圖像，精確提取實際釘孔的圖像坐標P_BR（x_BR,y_BR），與理論釘孔圖像坐標P_B1（x_B1,y_B1）做差，得到釘孔圖像平面偏差E_PB：

；

將釘孔平面偏差映射至機器人任務空間平面，解算機器人任務空間平面的偏差E_PA：

；

S8、解算機器人實際打釘位置P_R（x_r,y_r），并發送至機器人控制器，完成機器人精確打釘；

將機器人任務空間的偏差作為機器人實際打釘的位置補償量，機器人理論打釘位置P_T（x_t,y_t）加上實際打釘位置的補償量，得到實際機器人在任務空間的打釘位置P_R（x_r,y_r）；

；

式中，表示x方向上的補償量，表示y方向上的補償量；

將機器人任務空間打釘的實際位置發送至機器人控制器，完成機器人打釘補償。

2.一種機器人打釘系統，其特征在于，包括：

機器人；

自動打釘槍組件，包括通過位于所述機器人末端的法蘭連接的自動打釘槍安裝組件，以及固定在所述自動打釘槍安裝組件上的打釘槍；

單目視覺測量設備，固定于所述自動打釘槍一側；

環形光源，固定于所述自動打釘槍一側；

所述單目視覺測量設備、環形光源與所述自動打釘槍的頭部位置平行；所述單目視覺測量設備和所述環形光源相互位置關系恒定；

待打釘的上工件和下工件，放置在所述機器人的工作范圍內；所述上工件表面設有釘孔，所述上工件設置在所述下工件之上；系統運行拍照過程中，所述釘孔一直存在于所述單目視覺測量設備的視野中；

打釘位置補償單元，與所述單目視覺測量設備電性連接，所述打釘位置補償單元在激活時執行如權利要求1所述的機器人打釘位置補償方法。