[發(fā)明專利]復(fù)雜背景下基于視覺的壓雪車外觀缺陷檢測方法及裝置

有效

• 申請?zhí)枺?/td>: 202110467536.4
• 申請日: 2021-04-28
• 公開（公告）號: CN113160192B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計）人: 陳哲涵;張楓樺
• 申請（專利權(quán)）人: 北京科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06V10/762;G06V10/764;G06V10/82;G06V10/74;G06N3/04;G06N3/08
• 代理公司: 北京孚睿灣知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11474
• 代理人: 王冬杰

1.一種復(fù)雜背景下基于視覺的壓雪車外觀缺陷檢測方法，其特征在于：其包括以下步驟：

S1：利用移動終端通過隨意拍攝的方式采集目標物體待檢測區(qū)域圖像，將圖像信息傳輸?shù)缴衔粰C；

S2：上位機接收圖像信息，并對圖像進行缺陷檢測，其包括以下步驟：

S21：多維圖像分割算法從梯度、閾值和區(qū)域三個方向構(gòu)建三個維度的特征圖，對特征圖經(jīng)過形態(tài)學處理、輪廓提取和面積篩選后，生成基于各維度特征圖的缺陷候選區(qū)域，保留區(qū)域圖像塊及其位置信息，獲取缺陷候選區(qū)域；

S22：將步驟S21中獲取的缺陷候選區(qū)域分為有標簽樣本集D^L和無標簽樣本集D^U，有標簽樣本集D^L進一步分為有標簽訓練集和有標簽測試集，共C+1類，其中C類為缺陷類別，1類為背景類，標簽采用one-hot編碼，各類樣本所包含的樣本數(shù)量均相等；無標簽樣本集D^U分為m個patch，每個patch包含相同數(shù)量的樣本；

S23：構(gòu)建CNN模型，采用Resnet50模型作為初始分類模型，利用步驟S22中的有標簽訓練集對所述初始分類模型進行訓練，使用adam算法更新初始分類模型中的參數(shù)，使用交叉熵損失作為損失函數(shù)，當模型收斂時，終止訓練，計算測試組上的所述初始分類模型的預(yù)測誤差；

S24：將步驟S23中訓練后的初始分類模型拆除softmax分類層，將特征提取層連接特征距離相似性度量網(wǎng)絡(luò)，對步驟S22中的無標簽樣本集的patch1進行初步類別預(yù)測；

其中，特征距離相似性度量網(wǎng)絡(luò)將有標簽數(shù)據(jù)集D^L作為支持集，通過計算各類別樣本的聚類中心，找到每個類的參考特征向量，計算候選樣本與各類別聚類中心特征向量的歐式距離，選取最小值所在類別作為該候選樣本的預(yù)測類別；

假設(shè)表示第k類，每個類別有n個樣本的有標簽數(shù)據(jù)集，代表第k類缺陷第j張圖像的矩陣化表示，為其對應(yīng)類別的one-hot編碼，初始分類模型的特征提取層用映射函數(shù)f_θ表示，將輸入圖像的矩陣化表示轉(zhuǎn)換為特征向量如下式

即f_θ：

其中，H、W、C分別為圖像矩陣的行數(shù)、列數(shù)及維度數(shù)，即圖像的高度、寬度及通道數(shù)，D是特征向量的維度，為2048維，θ是分類網(wǎng)絡(luò)的權(quán)重參數(shù)；

特征距離相似性度量網(wǎng)絡(luò)將D^L作為支持集，構(gòu)建的聚類中心，得到代表的參考向量C_k，如下式：

得到各類別支持集參考向量C_k后，計算測試樣本特征向量F與各參考向量的歐式距離d_k，將距離最小的類別作為該測試樣本的預(yù)測類別y，d_k如下式：

其中，F(xiàn)_j′表示測試向量F第j′維的值，代表參考向量C_k第j′維的值；

S25：將步驟S24中預(yù)測的無標簽樣本集D^U中patch1及其預(yù)測的類別標簽歸類到偽標簽樣本集D^P中，從有標簽訓練集和偽標簽樣本集中聯(lián)合采樣，輸入分類網(wǎng)絡(luò)進行訓練，采用偽標簽機制同時考慮兩個不同樣本集的損失函數(shù)，并采用動態(tài)更新的方式，優(yōu)化損失函數(shù)，使用adam算法更新分類模型中的參數(shù)，當模型收斂時，終止訓練，計算測試組上的所述分類模型的預(yù)測誤差，得到新的分類模型；

S26：將步驟S25中訓練后的新的分類模型拆除softmax分類層，將特征提取層連接特征距離相似性度量網(wǎng)絡(luò)，對步驟S22中的無標簽樣本集的patch1和patch2進行類別預(yù)測，更新patch1的預(yù)測標簽；

S27：重復(fù)步驟S25和S26，直到所有無標簽樣本全部參與訓練，得到最終的優(yōu)化后的分類模型作為最優(yōu)分類模型，利用最優(yōu)分類模型對步驟S21中得到的缺陷候選區(qū)域進行預(yù)測，得到各缺陷候選區(qū)域的類別；

S28：融合層將結(jié)合各缺陷候選區(qū)域的類別及位置信息，形成各維度的帶標簽缺陷圖像，再融合三個維度的圖像，進行缺陷候選區(qū)域的篩選及回歸，得到標注有最終缺陷區(qū)域的圖像；

S3：上位機保存檢測結(jié)果，最終生成檢測報告，其包括以下步驟：

S31、上位機將標注有缺陷區(qū)域的單個圖像保存并回傳至移動終端，并且在移動終端進行顯示；

S32、在該檢測任務(wù)的所有圖像缺陷區(qū)域標記完成后，上位機生成檢測報告，報告內(nèi)容包含各圖像是否存在缺陷、缺陷類別、缺陷面積以及缺陷位置。