[發明專利]基于深度學習的螺紋鋼焊牌機器人3D視覺計數和定位方法

在審

• 申請號: 202210571274.0
• 申請日: 2022-05-24
• 公開（公告）號: CN115319338A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 陳冬玲;陳丙榮;黃斌;林澤欽;黃冠成;李寬羽
• 申請（專利權）人: 柳州職業技術學院;柳州比爾特工業智能科技有限公司
• 主分類號: B23K37/00
• 分類號: B23K37/00;B23K37/02;B25J9/16;B25J11/00
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 楊佳

1.基于深度學習的螺紋鋼焊牌機器人3D視覺計數和定位方法，其特征在于，包括Faster RCNN算法框架，具體為圖片進行標記，通過數據增強、批量歸一化等措施增加數據集，避免出現過擬合現象；其次，對數據集圖片進行特征提取和候選框的批量生成，對各幀圖像使用改進后的共享卷積層提取目標特征，用候選區域生成網絡RPN(Region ProposalNetwork)批量生成候選框，使用基于層次聚類的候選區域篩選算法，預先篩選候選框內目標人物，降低模型的計算量和模型運行時間，進一步改善圖片識別效果；然后，對不同尺寸的候選特征圖片進行ROI(Region of interest Pooling)池化，使候選區域圖片尺寸一致，便于圖像檢測網絡的處理；最后，對圖片中目標進行檢測，采用Softmax分類器將候選特征圖片進行分類，從而得到目標類別；采用回歸器處理候選區域特征向量，使用非極大值抑制算法優化候選框，得到候選框中心坐標，即真實數據。

2.根據權利要求1所述基于深度學習的螺紋鋼焊牌機器人3D視覺計數和定位方法，其特征在于，還包括預處理數據增強，所述預處理數據增強即基于生成式對抗網絡的樣本增廣，所述真實數據會存在一個分布，比如：如高斯分布，均勻分布，或者更為復雜的分布形式，利用GAN通過生成器來生成一批與真實分布接近的數據；生成器的輸入為隨機噪聲，θ為生成器神經網絡的參數，尋找最優參數θ*，使得目標分布和實際分布差異的最小化，即最小化生成器的損失；并引入了判別器來計算兩個分布的相似度，同樣的判別器也使用神經網絡來搭建。

3.根據權利要求2所述基于深度學習的螺紋鋼焊牌機器人3D視覺計數和定位方法，其特征在于，還包括手眼標定，使用Intel RealSense L515三維相機安裝在工業機器人末端，baseHtool表示為工具坐標系大機器人基坐標系的轉換關系，可由機器人系統中獲取；toolHcam表示相機坐標系到工具坐標系的轉換關系，這個轉換關系在機器人移動的過程中是不變的，但是未知的變量；calHcam表示標定板坐標系到機器人基坐標系的轉換關系，只要標定板與機器人基坐標系相對位置不變，該矩陣是不變的，由此可得：

baseHtool＝A

calHcam＝B

toolHcam＝X

控制機器人從初始位置移動到位置1：

P_base＝baseHtool(1)*P_tool(1)

P_tool(1)＝toolHcam*P_cam(1)

P_cam(1)＝calHcam(1)^-1*P_cal

聯合上面三個公式：

P_base＝baseHtool(1)*toolHcam*calHcam(1)^-1*P_cal

移動機器人到位置2后：

P_base＝baseHtool(2)*toolHcam*calHcam(2)^-1*P_cal

由于baseHcal不變：

baseHcal＝baseHtool(1)*toolHcam*calHcam(1)^-1*P_cal

baseHtool(1)＝A₁，baseHtool(2)＝A₂

toolHcam(1)＝X

calHcam(1)＝B₁，calHcam(2)＝B₂

由此：

令

所以：AX＝XB。

4.根據權利要求3所述基于深度學習的螺紋鋼焊牌機器人3D視覺計數和定位方法，其特征在于，還包括實驗驗證，將三維相機、補光燈和焊槍集成在保護箱內并安裝在埃夫特20kg工業機器人末端，機器人提前取牌，當螺紋鋼棒材到位三維相機采集圖像，并通過上述算法識別棒材，計算棒材的支數和中心棒材的焊接坐標，焊接坐標誤差要求在±5mm以內。