[發(fā)明專利]一種基于相似度度量的剛性接觸網(wǎng)缺陷檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110411610.0
• 申請(qǐng)日: 2021-04-16
• 公開(kāi)（公告）號(hào): CN113112483B
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 李林;劉明亮;吳道平;章海兵;汪中原;鄭斌;高劍鋒
• 申請(qǐng)（專利權(quán)）人: 合肥科大智能機(jī)器人技術(shù)有限公司;合肥市軌道交通集團(tuán)有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/33;G06T5/00;G06T5/20;G06V10/74;G06V10/774;G06V10/82;G06N3/08
• 代理公司: 合肥天明專利事務(wù)所(普通合伙) 34115
• 代理人: 閆客

1.一種基于相似度度量的剛性接觸網(wǎng)缺陷檢測(cè)方法，其特征在于，包括：

采用定點(diǎn)拍攝方式采集待測(cè)設(shè)備同一部位的待測(cè)圖像與模板圖像；

使用滑動(dòng)窗格分別提取待測(cè)圖像與模板圖像對(duì)應(yīng)位置的子圖像，得到子圖像對(duì)；

將子圖像對(duì)作為預(yù)先訓(xùn)練好的孿生網(wǎng)絡(luò)的輸入，得到相似度圖；

對(duì)相似度圖進(jìn)行圖像處理，得到缺陷區(qū)域；

所述使用滑動(dòng)窗格分別提取待測(cè)圖像與模板圖像對(duì)應(yīng)位置的子圖像，得到子圖像對(duì)，包括：

使用滑動(dòng)窗格以步長(zhǎng)s在分別在所述待測(cè)圖像與模板圖像中從左向右、從上到下滑動(dòng)直至整張圖像遍歷完，每滑動(dòng)一個(gè)窗格，提取該窗格內(nèi)的圖像為子圖像；

將所述待測(cè)圖像和模板圖像相同位置的子圖像作為一組子圖像對(duì)；

所述孿生網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和相似度度量網(wǎng)絡(luò)，其中，特征提取網(wǎng)絡(luò)包括依次連接的第一卷積層、第一池化層、第二卷積層、第二池化層和第三卷積層，相似度度量網(wǎng)絡(luò)包括依次連接的第一全連接層和第二全全連接層，第一卷積層的輸入為所述子圖像對(duì)，第三卷積層的輸出為特征向量，第三卷積層的輸出與第一全連接層的輸入連接，第二全連接層的輸出為相似度度量結(jié)果；

其中，特征提取網(wǎng)絡(luò)包含多層卷積層、激活、池化層，用于提取圖像特征向量；相似度度量網(wǎng)絡(luò)采取兩層全卷積網(wǎng)絡(luò)，用于計(jì)算圖像相似度度量結(jié)果；兩張子圖像進(jìn)入相同結(jié)構(gòu)、相同參數(shù)的網(wǎng)絡(luò)，提取各自的特征向量，兩張圖像提取出的特征向量進(jìn)入相似度度量網(wǎng)絡(luò)，從一個(gè)圖像中提取很多子圖像。

2.如權(quán)利要求1所述的基于相似度度量的剛性接觸網(wǎng)缺陷檢測(cè)方法，其特征在于，在所述采用定點(diǎn)拍攝方式采集待測(cè)設(shè)備同一部位的待測(cè)圖像與模板圖像之后，還包括：

對(duì)所述同一部位的待測(cè)圖像與模板圖像進(jìn)行配準(zhǔn)操作，得到配準(zhǔn)后的待測(cè)圖像與模板圖像。

3.如權(quán)利要求1所述的基于相似度度量的剛性接觸網(wǎng)缺陷檢測(cè)方法，其特征在于，所述對(duì)相似度圖進(jìn)行識(shí)別處理，得到缺陷區(qū)域，包括：

對(duì)所述相似度圖像進(jìn)行歸一化處理，得到歸一化后的相似度圖像；

對(duì)歸一化后的相似度圖像進(jìn)行閾值二值化，得到疑似包含異物的圖像區(qū)域；

將疑似包含異物的圖像區(qū)域進(jìn)行連通區(qū)域標(biāo)注提取，將提取的連通區(qū)域作為缺陷候選區(qū)域；

利用面積最小閾值對(duì)缺陷候選區(qū)域進(jìn)行過(guò)濾，得到最終的缺陷區(qū)域。

4.如權(quán)利要求1所述的基于相似度度量的剛性接觸網(wǎng)缺陷檢測(cè)方法，其特征在于，還包括：

在接觸網(wǎng)環(huán)境中，在不同采樣點(diǎn)分別采用定點(diǎn)拍攝方式采集設(shè)備各部位的正常圖像和缺陷圖像；

使用滑動(dòng)窗格分別提取正常圖像與缺陷圖像對(duì)應(yīng)位置的子圖像，得到樣本子圖像對(duì)；

對(duì)樣本子圖像對(duì)定義標(biāo)簽，并利用定義標(biāo)簽后的樣本子圖像對(duì)對(duì)所述孿生網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述預(yù)先訓(xùn)練好的孿生網(wǎng)絡(luò)。

5.如權(quán)利要求4所述的基于相似度度量的剛性接觸網(wǎng)缺陷檢測(cè)方法，其特征在于，所述孿生網(wǎng)絡(luò)的對(duì)比損失函數(shù)為：

其中，W表示參數(shù)，Y表示樣本一和樣本二是否匹配的標(biāo)簽，Y＝1代表兩樣本相似，Y＝0代表兩個(gè)樣本不相似，X₁,X₂分別表示用于對(duì)比的樣本一和樣本二，P表示樣本的特征位數(shù)，m表示設(shè)定的閾值常數(shù)，N表示樣本個(gè)數(shù)，D_W表示兩個(gè)樣本的歐式距離。

6.如權(quán)利要求5所述的基于相似度度量的剛性接觸網(wǎng)缺陷檢測(cè)方法，其特征在于，所述對(duì)樣本子圖像對(duì)定義標(biāo)簽，包括：

將樣本圖像中包含缺陷部分比例大于或等于閾值t的樣本圖像記為缺陷組的樣本，以及將包含缺陷部分比例小于閾值t的樣本圖像記為正常組的樣本；

將缺陷組內(nèi)的樣本圖像標(biāo)簽設(shè)置為-1，將正常組內(nèi)的樣本圖像標(biāo)簽設(shè)置為1。

7.一種基于相似度度量的剛性接觸網(wǎng)缺陷檢測(cè)系統(tǒng)，其特征在于，包括圖像采集模塊、子圖像對(duì)提取模塊、處理模塊和識(shí)別模塊，其中：

圖像采集模塊用于采用定點(diǎn)拍攝方式采集待測(cè)設(shè)備同一部位的待測(cè)圖像與模板圖像；

子圖像對(duì)提取模塊用于使用滑動(dòng)窗格分別提取待測(cè)圖像與模板圖像對(duì)應(yīng)位置的子圖像，得到子圖像對(duì)；

處理模塊用于將子圖像對(duì)作為預(yù)先訓(xùn)練好的孿生網(wǎng)絡(luò)的輸入，得到相似度圖；

識(shí)別模塊用于對(duì)相似度圖進(jìn)行識(shí)別處理，得到缺陷區(qū)域；

所述孿生網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和相似度度量網(wǎng)絡(luò)，其中，特征提取網(wǎng)絡(luò)包括依次連接的第一卷積層、第一池化層、第二卷積層、第二池化層和第三卷積層，相似度度量網(wǎng)絡(luò)包括依次連接的第一全連接層和第二全全連接層，第一卷積層的輸入為所述子圖像對(duì)，第三卷積層的輸出為特征向量，第三卷積層的輸出與第一全連接層的輸入連接，第二全連接層的輸出為相似度度量結(jié)果。