[發明專利]一種焊接圖像缺陷識別方法、裝置、存儲介質及設備

有效

• 申請號: 202010840939.4
• 申請日: 2020-08-20
• 公開（公告）號: CN112116560B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 王振民;鐘啟明;陳浩宇;張芩;吳祥淼
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 霍健蘭;梁瑩

1.一種焊接圖像缺陷識別方法，其特征在于：包括：

獲取待識別的焊接圖像；

將待識別的焊接圖像輸入至缺陷識別模型，通過所述缺陷識別模型對所述焊接圖像進行識別，得到焊接圖像類型，從而判定焊接圖像是否存在缺陷以及存在缺陷時的缺陷類型；其中，所述缺陷識別模型為對初始缺陷識別模型進行訓練處理得到的模型；

所述對初始缺陷識別模型進行訓練處理，是指，包括如下步驟：

S101、采集所有焊接缺陷類型的焊接圖像樣本；

S102、將焊接圖像樣本劃分為訓練集、驗證集以及測試集；同一試制序號的焊接圖像樣本僅在訓練集、驗證集和測試集的任一個集合中；

S103、利用預訓練模型的卷積基結合全連接分類器來構成缺陷識別模型；并利用所述訓練集對缺陷識別模型進行遷移訓練；遷移訓練是指凍結卷積基，訓練全連接分類器，之后對缺陷識別模型進行微調；之后利用驗證集和測試集對缺陷識別模型進行驗證和測試；

S104、存儲完成遷移訓練的缺陷識別模型；

所述S101包括如下分步驟：

S1011、根據待分類的焊接缺陷類型，預設工藝參數以試制出焊接缺陷樣本；在試制焊接缺陷樣本過程中，實時采集焊接缺陷圖像；

所述S1011中，采用焊接設備試制焊接缺陷樣本；所述焊接設備包括焊接機器人、焊接電源、高動態相機和工控機；所述焊接機器人與焊接電源電性連接；高動態相機通過夾具夾持于焊接機器人的焊炬；高動態相機與工控機電性連接；

所述焊接機器人根據預設工藝參數執行焊接流程；焊接電源根據預設工藝參數為焊接流程提供能量；高動態相機隨焊接機器人的焊炬移動，實時采集焊接缺陷圖像；工控機接收并存儲高動態相機采集的焊接缺陷圖像；

S1012、提取焊接缺陷圖像中焊接缺陷所在幀作為焊接圖像樣本，并按焊接缺陷類型和試制序號進行標注和歸檔；

S1013、重復S1011～S1012，直至完成所有焊接缺陷類型的焊接缺陷樣本的圖像采集和數據標注；

所述S103包括如下分步驟：

S1031、加載預訓練模型的卷積基，卷積基的輸入為焊接圖像，輸出為卷積基提取的高級抽象特征；所述預訓練模型為基于ImageNet數據集預訓練的ResNet18；

S1032、在卷積基上搭建全連接分類器構成缺陷識別模型，卷積基的輸出經展平層后連接全連接分類器的輸入；全連接分類器的輸入神經元個數與展平層輸出神經元個數相同；全連接分類器輸入層和輸出層相連，輸出神經元個數與焊接圖像類型數量相同；全連接分類器的輸入層采用ReLu激活函數，輸出層使用softmax激活函數：

其中，y_ik為全連接分類器輸入層第k個神經元的激活函數值，x_ik為全連接分類器輸入層第k個神經元的輸入值；

其中，y_k為全連接分類器輸出層第k個神經元的激活函數值，z_k為全連接分類器輸出層第k個神經元的輸入值；

S1033、凍結卷積基，訓練全連接分類器：缺陷識別模型以分類交叉熵損失函數作為優化的目標函數；采用ADAM優化器更新全連接分類器的權重，按預設的迭代次數循環訓練全連接分類器；所述ADAM優化器的β₁取0.9，β₂取0.999；初始學習率為1×10^-3，在訓練集上每迭代十次學習率衰減0.5；

S1034、對缺陷識別模型進行微調；將卷積基的頂部層解凍，聯合訓練所述頂部層與全連接分類器；

S1035、使用驗證集對缺陷識別模型性能進行驗證，根據驗證的結果調整缺陷識別模型的超參數；

S1036、使用測試集驗證缺陷識別模型的最終性能；若符合預期指標則進入步驟S104，否則重復步驟S1031～S1036；

所述步驟S102中，對訓練集進行有放回采樣：統計訓練集中各類型焊接圖像樣本數，以各類型樣本數的倒數作為對整個訓練集進行采樣的權重，以提升數量較少的缺陷類型焊接圖像樣本在批處理中出現的概率：

其中，w_i為i類型焊接圖像樣本的采樣權重，C_i為訓練集中i類型焊接圖像樣本的總數；

在對訓練集樣本進行采樣的同時，對采樣原焊接圖像樣本進行數據增強。