[發(fā)明專利]基于學(xué)習(xí)的線結(jié)構(gòu)光焊縫跟蹤與增材路徑糾偏裝置及方法

有效

• 申請?zhí)枺?/td>: 201910391799.4
• 申請日: 2019-05-13
• 公開（公告）號: CN111922483B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計）人: 韓靜;柏連發(fā);彭沖沖;趙壯;張毅;于浩天;陳霄宇;王景;孫巖
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號: B23K9/04
• 分類號: B23K9/04;B23K9/127;B23K26/044;B23K26/342
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 陳鵬

1.一種基于學(xué)習(xí)的線結(jié)構(gòu)光焊縫跟蹤與增材路徑糾偏方法，其特征在于，該方法基于線結(jié)構(gòu)光焊縫跟蹤與增材路徑糾偏裝置實現(xiàn)，所述裝置包括母板（1）、焊槍（2）、激光器（3）、CCD相機(jī)（4）和圖像處理傳輸模塊（5）；激光器（3）與CCD相機(jī)（4）之間呈一定傾角，兩者均設(shè)置在焊槍（2）上，其中CCD相機(jī)（4）與焊槍（2）相對平行，所述圖像處理傳輸模塊（5）與CCD相機(jī)（4）連接；激光器（3）發(fā)射線結(jié)構(gòu)光投射到母板（1）產(chǎn)生光條輪廓，由CCD相機(jī)（4）采集圖像，圖像處理傳輸模塊（5）進(jìn)行特征線與點(diǎn)位處理，并與機(jī)器人控制系統(tǒng)通信，實現(xiàn)焊縫跟蹤與增材路徑糾偏；所述方法包括以下步驟：

步驟1，選用棋盤格作為標(biāo)定板，對線結(jié)構(gòu)光進(jìn)行標(biāo)定，同時對所用CCD相機(jī)進(jìn)行標(biāo)定，然后對CCD相機(jī)和與之相對固定機(jī)器人之間進(jìn)行手眼標(biāo)定；線結(jié)構(gòu)光標(biāo)定方法具體為：

選取高曝光時間和低曝光時間兩種模式；對同一幅標(biāo)定圖像，在兩種模式下分別進(jìn)行拍攝；在高曝光時間的模式下，提取照射在白色區(qū)域的線結(jié)構(gòu)光圖像；在低曝光時間的模式下，提取照射在黑色區(qū)域的線結(jié)構(gòu)光圖像；二者拼接后作為最終線結(jié)構(gòu)光標(biāo)定圖像，并提取圖像的中心線；同時對所用CCD相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)內(nèi)參、外參；在完成CCD相機(jī)和與機(jī)器人之間進(jìn)行手眼標(biāo)定之后對標(biāo)定結(jié)果進(jìn)行誤差補(bǔ)償修正；

步驟2，作業(yè)過程中CCD相機(jī)采集到線結(jié)構(gòu)光投射到母板及子材上產(chǎn)生的光條輪廓和各種背景干擾，圖像處理傳輸模塊利用基于VGG深度網(wǎng)絡(luò)學(xué)習(xí)的算法對圖像進(jìn)行處理，獲取到無噪聲的二維輪廓切線及焊接路徑特征點(diǎn)；

基于VGG深度網(wǎng)絡(luò)學(xué)習(xí)的算法，其網(wǎng)絡(luò)結(jié)構(gòu)如下：

（1）前五個階段中主干由卷積層組成，通過卷積來提取圖像特征；

（2）每個卷積層都連接到一個內(nèi)核大小為1*1，通道深度為21的卷積層；利用eltwise層對每個階段的特征圖進(jìn)行累加，得到混合特征；

（3）每個eltwise層后面都有一個1*1-1的卷積層；使用反卷積層對該特征圖進(jìn)行上采樣；

（4）每一階段都有一個交叉熵loss/sigmoid層連接到上采樣層；

（5）所有上采樣層都是串聯(lián)的，使用一個1*1-1 卷積層融合各個階段的特征映射；通過交叉熵loss/sigmoid層得到融合損失/輸出；

（6）使用難例挖掘固定正負(fù)樣本比例，約束交叉熵?fù)p失函數(shù)；

（7）在第五階段的卷積層后再加入第六階段的兩層卷積層與三層線形全連接層，回歸出每條焊縫切線的特征點(diǎn)位；

步驟3，利用標(biāo)定結(jié)果將二維信息還原至真實三維信息，獲得真實作業(yè)路徑三維情景與點(diǎn)位路線；通過圖像處理傳輸模塊與機(jī)器人系統(tǒng)通信，對焊接和增材路徑進(jìn)行實時監(jiān)控及糾偏跟蹤。

2.根據(jù)權(quán)利要求1所述的基于學(xué)習(xí)的線結(jié)構(gòu)光焊縫跟蹤與增材路徑糾偏方法，其特征在于，激光器（3）與CCD相機(jī)（4）之間呈30°-60°傾角。