[發明專利]基于深度神經網絡的熔池輪廓檢測方法

有效

• 申請號: 201910581281.7
• 申請日: 2019-06-29
• 公開（公告）號: CN110363781B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 韓靜;趙壯;張楚昊;柏連發;張毅;王一鳴
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06N3/04;G06N3/08;G06T7/13;G06T7/155
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 封睿

1.一種基于深度神經網絡的熔池輪廓檢測方法，其特征在于，包括如下步驟：

步驟1、建立熔池視覺傳感系統，采集焊接時的熔池圖像，裁去冗余背景，得到原始熔池圖像集；

步驟2、基于步驟1得到的熔池圖像制作其對應的分割標記樣本，與原始熔池圖像集構成熔池圖片標記數據集；

步驟3、基于步驟2得到的熔池圖片標記數據集，利用生成對抗網絡DCGAN進行訓練，生成與原始熔池圖像相似的圖像，與熔池圖片標記數據集構成擴充的熔池圖片標記數據集；

步驟4、對擴充的熔池圖像標記數據集進行色彩學和形態學上的數據增廣，放入語義分割網絡中進行訓練；

步驟5、利用步驟4中訓練得到的語義網絡網絡模型提取熔池輪廓；

步驟4中，語義分割網絡基于殘差網絡ResNet-50演變而來，首先利用ResNet-50網絡對輸入進行層層遞進的卷積操作，獲得不同尺度的特征圖，然后根據式(1)操作得到原圖尺寸大小相同的特征圖，與標記樣本計算損失函數；

其中D代表上采樣操作，f_1/32表示卷積輸出的基于原圖1/32尺寸的特征，f_1/16表示卷積輸出的基于原圖1/16尺寸的特征；

語義分割網絡的損失函數設計如式(2)所示：

其中E為softmax函數，i和j決定了像素是位于待分割前景區域f_g中還是背景區域b_g中，y_ij表示像素的二進制預測值，a為背景占圖像的像素數比，b為前景占圖像的像素數比。

2.根據權利要求1所述的基于深度神經網絡的熔池輪廓檢測方法，其特征在于，步驟1中，考慮到TIG焊接工藝下焊槍與工件接觸處存在較大的弧光，為了抑制弧光對輪廓檢測產生的不良影響，在相機鏡頭前布置了660nm的濾光片，以獲取清晰的高質量圖像。

3.根據權利要求1所述的基于深度神經網絡的熔池輪廓檢測方法，其特征在于，步驟2中，制作分割標記樣本時，將需要分割的熔池區域用灰度為255的像素填充，背景區域用灰度為0的像素填充。

4.根據權利要求1所述的基于深度神經網絡的熔池輪廓檢測方法，其特征在于，步驟3中，首先按照設置的批量尺寸對原始熔池圖像集的圖像進行拼接，并依次送入生成對抗網絡DCGAN中；然后在訓練完畢后，利用生成的網絡模型對原始熔池圖像集的圖像進行測試，生成按照批量尺寸拼接而成的生成圖；接著將生成圖剪裁成單張熔池圖片，并篩選滿足條件的熔池圖片；最后根據新生成的熔池圖像搜索對應的原圖以及分割標記樣本，共同構成擴充的熔池圖像標記數據集。

5.根據權利要求1所述的基于深度神經網絡的熔池輪廓檢測方法，其特征在于，步驟4中，在將數據集放入Res-Seg網絡進行訓練之前，通過形態變化和色彩調整對熔池圖像及其對應標記樣本進行數據增廣，具體步驟如下：

a、設置最大旋轉角度、最大縮放比例值以及最大裁切長寬值；

b、生成0到1之間的隨機浮點數M，以M為基準與最大旋轉角度、最大縮放比例值以及最大裁切長寬值進行相乘操作，生成控制形態變化的隨機浮點數，控制旋轉、縮放、裁切操作；以2*M-1為基準與最大縮放比例值進行相乘操作，生成控制色彩變化的隨機浮點數，控制亮度、飽和度、對比度、銳度、高斯模糊操作；

c、載入擴充的熔池圖像標記數據集的熔池圖像及其對應分割標記樣本，執行旋轉以及縮放操作，根據步驟b控制色彩變化的隨機浮點數的正負判斷是否進行裁切以及色彩轉換操作，若為負，則不進行裁切和色彩轉換操作，否則對圖像以及標記樣本進行裁切和色彩轉換。