[發(fā)明專利]用于爬壁機(jī)器人導(dǎo)航的焊縫識別與路徑提取的方法

有效

• 申請?zhí)枺?/td>: 202010872415.3
• 申請日: 2020-08-26
• 公開（公告）號: CN112101137B
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 王興松;李杰;田夢倩
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/25;G06V10/774;G06V10/766;G06V10/82;G06N3/04
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 薛雨妍

1.用于爬壁機(jī)器人導(dǎo)航的焊縫識別與路徑提取的方法，所述方法通過以下裝置實(shí)現(xiàn)，所述裝置包括工業(yè)相機(jī)、識別主機(jī)、爬壁機(jī)器人，識別相機(jī)安裝與爬壁機(jī)器人底盤中心位置，工業(yè)相機(jī)通過USB連接識別主機(jī)，識別主機(jī)通過串口與機(jī)器人控制端連接，該方法主要基于深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)對焊縫的識別，并通過路徑擬合算法實(shí)現(xiàn)焊縫的路徑的偏角和偏距提取，其特征在于,該方法包括以下步驟；

步驟(1)：通過爬壁機(jī)器人采集金屬壁面焊縫，并對圖像中焊縫對象進(jìn)行標(biāo)注，建立數(shù)據(jù)集；

步驟(2)：識別主機(jī)進(jìn)行網(wǎng)絡(luò)參數(shù)初始化設(shè)定后，把焊縫缺陷數(shù)據(jù)集送入Mask-RCNN深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練并生成權(quán)重文件，訓(xùn)練階段迭代步數(shù)不小于10k，且損失函數(shù)值小于0.2；

步驟(3)：所述爬壁機(jī)器人運(yùn)行在金屬壁面上，啟動(dòng)循跡模式，工業(yè)相機(jī)獲取當(dāng)前位置的焊縫圖像并發(fā)送給識別主機(jī)；步驟(4)：所述識別主機(jī)接受圖像進(jìn)行識別測試，設(shè)置深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，載入步驟(2)訓(xùn)練獲得的權(quán)重，送入Mask-RCNN網(wǎng)絡(luò)進(jìn)行焊縫分類、回歸和像素掩碼生成；

步驟(5)：對Mask-RCNN識別結(jié)果進(jìn)行圖像處理，去除背景，二值化處理，得到焊縫路徑圖像，并進(jìn)行焊縫路徑提取；

步驟(6)：識別主機(jī)發(fā)送焊縫路徑信息(偏角和偏距)給爬壁機(jī)器人控制端，控制端調(diào)整機(jī)器人位置和速度，實(shí)現(xiàn)焊縫的跟蹤運(yùn)行， 返回步驟(3)進(jìn)行焊縫的連續(xù)循跡跟蹤。

2.根據(jù)權(quán)利要求 1所述的用于爬壁機(jī)器人導(dǎo)航的焊縫識別與路徑提取的方法，其特征在于，所述步驟(1)的數(shù)據(jù)集中的圖片包含水平焊縫、垂直焊縫、傾斜焊縫、十字交叉焊縫、丁字形焊縫類型；焊縫數(shù)據(jù)集包括不少于2000張焊縫圖像，并按5:1分為訓(xùn)練集和測試集；數(shù)據(jù)集格式為COCO格式或VOC格式，標(biāo)注分類數(shù)為2(包括焊縫對象和背景)。

3.根據(jù)權(quán)利要求 1所述的用于爬壁機(jī)器人導(dǎo)航的焊縫識別與路徑提取的方法，其特征在于，所述步驟(1)的數(shù)據(jù)集中的焊縫圖片標(biāo)注，交叉焊縫或丁字形焊縫標(biāo)注為多條焊縫而不是單一焊縫，具體為：交叉焊縫標(biāo)注為3條焊縫、丁字形焊縫標(biāo)注為2條焊縫。

4.根據(jù)權(quán)利要求 1所述的用于爬壁機(jī)器人導(dǎo)航的焊縫識別與路徑提取的方法，其特征在于，所述步驟(2)中的預(yù)訓(xùn)練網(wǎng)絡(luò)模型及權(quán)重采用mask_rcnn_R_50_FPN_3x，分類類別為2，進(jìn)行二分類；訓(xùn)練階段底層卷積神經(jīng)采用ResNet50和FPN結(jié)合，提取不同深度的特征圖；通過RPN推薦ROI(感興趣區(qū)域)， 訓(xùn)練階段的損失焊縫計(jì)算根據(jù)：

L_total＝L_{rpn_cls}+L_{rpn_loc}+L_{box_reg}+L_cls+L_mask。 _.

5.根據(jù)權(quán)利要求 1所述的用于爬壁機(jī)器人導(dǎo)航的焊縫識別與路徑提取的方法，其特征在于，所述步驟(4)的具體過程為：

步驟(401)：初始化網(wǎng)絡(luò)參數(shù)，分別將焊縫圖像訓(xùn)練集、驗(yàn)證集注冊載入，同時(shí)加載步驟(2)訓(xùn)練獲取的權(quán)重文件；

步驟(402)：通過攝像頭獲取的圖像，圖像送入訓(xùn)練好的ResNet50中，通過FPN獲取不同深度的特征圖；

步驟(403)：使用RPN網(wǎng)絡(luò)對ROI進(jìn)行推薦，同時(shí)連接兩個(gè)同級的全連接層，分別為框回歸層和框分類層，用來獲取ROI的區(qū)域坐標(biāo)和區(qū)域得分；

步驟(404)：候選框建議RoI被送入RoIAlign層進(jìn)行池化處理，采用雙線性插值處理，每個(gè)RoI池化為固定尺寸特征圖(例如7×7)；

步驟(405)：RoIAlign后連接兩個(gè)全連接層，輸出層網(wǎng)絡(luò)深度為2，實(shí)現(xiàn)焊縫圖像分類和邊界框回歸，同時(shí)連接FCN(全卷積網(wǎng)絡(luò))對圖像焊縫進(jìn)行像素分割，輸出預(yù)測焊縫的mask；

步驟(406)：生成焊縫預(yù)測圖像，包括預(yù)測框、概率值、焊縫的像素級別mask。

6.根據(jù)權(quán)利要求 1所述的用于爬壁機(jī)器人導(dǎo)航的焊縫識別與路徑提取的方法，其特征在于，所述步驟(5)中圖像處理主要包括去除背景干擾，二值化焊縫對象；焊縫路徑提取通過最小二乘法擬合路徑直線得到斜率k和截距b，路徑偏角和偏距計(jì)算根據(jù)公式：

(w為圖像寬度，h為圖像高度,K為像素和實(shí)際大小的比例系數(shù))。