[發明專利]基于語義分割的工業焊接圖像缺陷的檢測方法

有效

• 申請號: 202010525675.3
• 申請日: 2020-06-10
• 公開（公告）號: CN111681232B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 王大寒;胡麗;王馳明;葉海禮;俞峰;周偉;周永杰;朱順痣
• 申請（專利權）人: 廈門理工學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/26;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 張鐵蘭

1.一種基于語義分割的工業焊接圖像缺陷的檢測方法，其特征在于，包括以下步驟:

步驟S1、獲取存在焊接缺陷的工業焊接圖像；

步驟S2、根據焊接缺陷規范對所述焊接缺陷進行像素級別標注，以生成焊接缺陷訓練樣本集；

步驟S3、建立焊接缺陷分割模型，并使用所述焊接缺陷訓練樣本集進行深度學習訓練；

步驟S4、利用深度學習訓練后的焊接缺陷分割模型對所述工業焊接圖像進行焊接缺陷檢測；

步驟S3中，所述建立焊接缺陷分割模型具體包括建立編碼器、解碼器；

建立所述編碼器具體包括如下步驟：

輸入所述工業焊接圖像至所述編碼器；

采用不同比率的帶孔卷積以獲取不同尺度的卷積特征；

特征融合所述不同尺度的卷積特征；

其中，所述編碼器包括五層，第一層包括第一深度可分離卷積層、第一激活層和第一池化層，第二層包括第二深度可分離卷積層、第二激活層和第二池化層，第三層包括第三深度可分離卷積層、第三激活層和第三池化層，第四層包括第四深度可分離卷積層、第四激活層和第四池化層，第五層包括帶孔空間金字塔池化層；

所述深度可分離卷積具體用于：

將標準卷積分解為空間卷積與深度卷積的組合；

對空間維和通道維度分別進行映射并將結果進行組合；

所述帶孔空間金字塔池化層具體用于：

通過不同尺寸的池化層將特征信息轉換到尺寸由小到大的特征空間；

使用所述帶孔卷積獲取不同特征空間下的特征信息；

通過調節所述帶孔卷積的卷積核步幅，使得每個所述特征空間獲取的所述特征信息的尺寸相同；

通過特征融合對每一所述特征信息進行拼接以獲取所述工業焊接圖像的語義特征；

建立所述解碼器具體包括如下步驟：

輸入所述工業焊接圖像至所述解碼器；

通過對每個像素點的概率值進行分類以輸出缺陷分割結果；

其中，所述解碼器包括五層，第一層包括第一反卷積層、第五激活層和第一上采樣層，第二層包括第二反卷積層、第六激活層和第二上采樣層，第三層包括第三反卷積層、第七激活層和第三上采樣層，第四層包括第四反卷積層、第八激活層和第四上采樣層，第五層包括柔性最大值傳輸函數分類器。

2.根據權利要求1所述的基于語義分割的工業焊接圖像缺陷的檢測方法，其特征在于，步驟S2具體包括如下步驟：

參照所述焊接缺陷規范標記所述工業焊接圖像中的焊接缺陷的區域邊界點，連接所述區域邊界點形成閉合區域；

根據缺陷外觀特征判斷并標記每個焊接缺陷區域的類型，以獲取包含所述焊接缺陷區域的邊界信息的像素級別標注數據；

對所述像素級別標注數據進行數據增強以獲取所述焊接 缺陷訓練樣本集。

3.根據權利要求2所述的基于語義分割的工業焊接圖像缺陷的檢測方法，其特征在于，所述根據缺陷外觀特征判斷并標記每個焊接缺陷區域的類型，以獲取包含所述焊接缺陷區域的邊界信息的像素級別標注數據，具體包括如下步驟：

通過標記焊接缺陷的邊界缺陷的方法將所述焊接缺陷區域與背景區域進行區分；

以像素區域為單位將所述工業焊接圖像分割為多個相互獨立的子區域，標記每個所述子區域的焊接缺陷類型；

以區域覆蓋像素點的方式實現對于所述工業焊接圖像中每個像素點的標注。

4.根據權利要求2所述的基于語義分割的工業焊接圖像缺陷的檢測方法，其特征在于，以像素級別標注為所述工業焊接圖像內的每個像素點均分配相應的標簽，所述焊接 缺陷訓練樣本集可表示為X，X中的第i個樣本表示為(I_i,M_i)；

其中，I為所述工業焊接圖像，M為對應的所述像素級別標注數據，且M∈[0,n]，n為焊接缺陷類型數量。

5.根據權利要求1所述的基于語義分割的工業焊接圖像缺陷的檢測方法，其特征在于，步驟S3中，所述深度學習訓練過程中使用AMSGrad優化器作為訓練策略，通過最小化損失函數學習焊接缺陷分割模型的目標參數。