[發明專利]基于目標檢測的工業焊接圖像缺陷的檢測方法

有效

• 申請號: 202010525671.5
• 申請日: 2020-06-10
• 公開（公告）號: CN111681231B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王大寒;胡麗;王馳明;葉海禮;俞峰;周偉;周永杰;朱順痣
• 申請（專利權）人: 廈門理工學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/25;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 張鐵蘭

1.一種基于目標檢測的工業焊接圖像缺陷的檢測方法，其特征在于，包括以下步驟:

步驟S1、獲取工業焊接圖像；

步驟S2、依據所述工業焊接圖像中存在的焊接缺陷生成訓練樣本集；

步驟S3、建立焊接缺陷檢測模型；

步驟S4、依據所述訓練樣本集對所述焊接缺陷檢測模型進行深度學習訓練；

步驟S5、利用深度學習訓練后的焊接缺陷檢測模型對所述工業焊接圖像進行焊接缺陷檢測；

所述建立焊接缺陷檢測模型具體包括建立焊接缺陷區域框推測模塊、焊接缺陷分類與回歸模塊；

所述焊接缺陷區域框推測模塊包括圖像特征提取器和區域框推測網絡；

輸入所述工業焊接圖像至所述圖像特征提取器，提取所述工業焊接圖像的語義特征；

依據所述工業焊接圖像的語義特征確定所述焊接缺陷的候選區域，并生成候選區域框；

所述焊接缺陷分類與回歸模塊包括焊接缺陷類型分類器和焊接缺陷區域回歸器；

輸入所述工業焊接圖像的語義特征、所述候選區域框至所述焊接缺陷分類與回歸模塊；

依據所述候選區域框在所述工業焊接圖像的語義特征中截取相應的感興趣區域；

使用可變型池化層將所述感興趣區域下采樣為特征向量，使用所述焊接缺陷類型分類器對所述特征向量進行分類得到焊接缺陷類型分類結果，表示為p^*；

輸入所述特征向量至所述焊接缺陷區域回歸器獲取焊接缺陷區域框回歸結果，表示為t^*＝[x^*,y^*,w^*,h^*]；

其中，x^*為預測區域框的左上角橫坐標，y^*為所述預測區域框的左上角豎坐標，w^*為所述預測區域框的寬度，h^*為所述預測區域框的高度；

步驟S4中，所述深度學習訓練方法為隨機梯度下降方法，通過最小化損失函數學習所述焊接缺陷檢測模型的目標參數；

所述損失函數為：

其中，p_i為標注的焊接缺陷類別，為焊接缺陷檢測模型預測的焊接缺陷類別，t_i為標注的焊接缺陷區域框，為焊接缺陷檢測模型預測的焊接缺陷區域框，N_cls為焊接缺陷類別數，N_reg為焊接缺陷區域框數，λ為平衡因子，取值為10；L_cls為焊接缺陷類別分類損失函數，L_reg為焊接缺陷區域位置回歸損失函數，{x,y,w,h}為焊接缺陷區域位置的左上角坐標及區域寬和高。

2.根據權利要求1所述的基于目標檢測的工業焊接圖像缺陷的檢測方法，其特征在于，步驟S1中，所述獲取工業焊接圖像具體為：

通過拍攝設備拍攝所述工業焊接圖像并進行保存。

3.根據權利要求1所述的基于目標檢測的工業焊接圖像缺陷的檢測方法，其特征在于，步驟S2具體包括如下步驟：

參照焊接外觀缺陷范例標定所述工業焊接圖像中的焊接缺陷區域框；

根據缺陷外觀特征判斷并標記焊接缺陷類型，以獲取包含所述焊接缺陷區域框和所述焊接缺陷類型相對應的所述訓練樣本集。

4.根據權利要求3所述的基于目標檢測的工業焊接圖像缺陷的檢測方法，其特征在于，所述參照焊接外觀缺陷范例標定所述工業焊接圖像中的焊接缺陷區域框，具體為：

所述焊接缺陷區域框為所述焊接缺陷在所述工業焊接圖像中的具體區域范圍，每個區域框表示一個焊接缺陷區域，表示為t＝[x,y,w,h]；

其中，x為所述焊接缺陷區域框的左上角橫坐標，y為所述焊接缺陷區域框的左上角豎坐標，w為所述焊接缺陷區域框的寬度，h為所述焊接缺陷區域框的高度。

5.根據權利要求3所述的基于目標檢測的工業焊接圖像缺陷的檢測方法，其特征在于，所述根據缺陷外觀特征判斷并標記焊接缺陷的類型，具體為：

根據每個標定的所述焊接缺陷區域框內的焊接缺陷的特征判斷焊接缺陷的類型并進行標記，表示為p，使得所述訓練樣本集包含的焊接缺陷區域框和焊接缺陷類型相對應。