[發(fā)明專利]基于目標(biāo)檢測算法的鋼繩表面缺陷識別方法

有效

• 申請?zhí)枺?/td>: 202010858256.1
• 申請日: 2020-08-24
• 公開（公告）號: CN112070728B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計）人: 楊靜;毛曉琦
• 申請（專利權(quán)）人: 西安理工大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 羅笛

1.一種基于目標(biāo)檢測算法的鋼繩表面缺陷識別方法，其特征在于，按照以下步驟具體實(shí)施：

步驟1、實(shí)時圖像采集，

在鋼繩應(yīng)用現(xiàn)場，利用高速攝像頭，得到采樣區(qū)段鋼繩狀態(tài)的實(shí)時視頻圖像流，對圖像流每5幀進(jìn)行一次幀提取，得到一張鋼繩模糊圖片I_m；

步驟2、DeblurGAN鋼繩去運(yùn)動模糊模型，

DeblurGAN鋼繩去運(yùn)動模糊模型由生成器G和判別器D組成，具體結(jié)構(gòu)是：

2.1）生成器G的網(wǎng)絡(luò)結(jié)構(gòu)為：鋼繩模糊圖片I_m經(jīng)過1層卷積、實(shí)例歸一化層和激活層后，保持輸入數(shù)據(jù)的尺寸不變；然后，進(jìn)行2次上采樣，將圖像特征層增至256個；再經(jīng)過9層殘差卷積，每個殘差卷積包含一個3*3卷積層3*3conv、實(shí)例歸一化層InstanceNorm和ReLU激活層；隨后，進(jìn)行2次下采樣、1層卷積以及激活函數(shù)后輸出；

2.2）判別器D的網(wǎng)絡(luò)結(jié)構(gòu)是：由1個卷積、4個下采樣、1個卷積以及激活函數(shù)組成；判別器網(wǎng)絡(luò)D的輸入為：與鋼繩模糊圖片I_m相對應(yīng)的鋼繩清晰圖片I_q以及鋼繩模糊圖片I_m經(jīng)過生成器G后得到鋼繩生成圖片O_m；判別器網(wǎng)絡(luò)D對輸入的兩種圖片進(jìn)行相似程度判斷；

DeblurGAN鋼繩去運(yùn)動模糊網(wǎng)絡(luò)需要用一組鋼繩圖片樣本集（RW-I_m，RW-I_q）對DeblurGAN鋼繩去運(yùn)動模糊模型的生成器G和判別器D進(jìn)行對抗訓(xùn)練，其中，RW-I_m為鋼繩模糊圖片的樣本集，RW-I_q為相應(yīng)的鋼繩清晰圖片的樣本集；經(jīng)過大量鋼繩圖片樣本訓(xùn)練，直到鋼繩模糊圖片樣本集RW-I_m經(jīng)過生成器G后的生成圖片樣本集RW-O_m與相應(yīng)的鋼繩清晰圖片樣本集RW-I_q相似度最好；最終將訓(xùn)練好的DeblurGAN鋼繩去運(yùn)動模糊網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)設(shè)置在網(wǎng)絡(luò)中，得到DeblurGAN鋼繩去運(yùn)動模糊模型，

將實(shí)時采集的鋼繩模糊圖片I_m，利用DeblurGAN鋼繩去運(yùn)動模糊網(wǎng)絡(luò)得到去運(yùn)動模糊后的鋼繩生成圖片O_m；

步驟3、構(gòu)建鋼繩表面缺陷目標(biāo)檢測模型，具體過程是，

鋼繩表面缺陷目標(biāo)監(jiān)測模型采用Mobilenet+FPN輕量級目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)，所述的Mobilenet+FPN輕量級目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)是：

3.1）輕量級Mobilenet特征提取網(wǎng)絡(luò)，由1個傳統(tǒng)的卷積層加13個深度可分離卷積模塊組成，每個模塊采用了逐通道卷積+逐點(diǎn)卷積組合的結(jié)構(gòu)，因此，輕量級Mobilenet特征提取網(wǎng)絡(luò)總共有1+2*13=27層可分離卷積結(jié)構(gòu)；

3.2）多尺度信息融合FPN檢測網(wǎng)絡(luò)，首先，將輕量級Mobilenet特征提取網(wǎng)絡(luò)的第27層輸出的13*13特征圖，進(jìn)行1*1和3*3的卷積操作，得到13*13的檢測特征圖；其次，將13*13的檢測特征圖進(jìn)行雙線性插值上采樣得到26*26的上采樣特征圖，將26*26的上采樣特征圖與輕量級Mobilenet特征提取網(wǎng)絡(luò)的第23層輸出的26*26特征圖進(jìn)行融合，再進(jìn)行一組卷積操作，得到26*26的檢測特征圖；再次，將26*26的檢測特征圖進(jìn)行雙線性插值上采樣得到52*52的上采樣特征圖，將52*52的上采樣特征圖和輕量級Mobilenet特征提取網(wǎng)絡(luò)的第11層輸出的52*52特征圖進(jìn)行信息融合，以及卷積操作，得到52*52的檢測特征圖；最后，將上述的13*13的檢測特征圖、26*26的檢測特征圖以及52*52的檢測特征圖進(jìn)行級聯(lián)，最終形成鋼繩缺陷檢測的多尺度信息融合FNP檢測結(jié)構(gòu)；

所述的Mobilenet+FPN輕量級目標(biāo)檢測網(wǎng)絡(luò)在用于鋼繩表面缺陷的在線智能檢測前，需要利用鋼繩各種缺陷的大量樣本對目標(biāo)檢測網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，直到收斂，具體步驟如下：

a）樣本圖片采集，在鋼繩使用現(xiàn)場或缺陷鋼繩回收處，收集不同光照條件下及不同損傷狀態(tài)的鋼繩缺陷圖片；

b）進(jìn)行鋼繩的缺陷標(biāo)注，利用labelImg軟件對收集到的不同缺陷的鋼繩缺陷圖片進(jìn)行缺陷標(biāo)注，從而得到鋼繩缺陷樣本；

c）建立鋼繩缺陷樣本數(shù)據(jù)集，重復(fù)步驟b）的鋼繩缺陷標(biāo)注過程，對鋼繩缺陷圖片中不同的缺陷進(jìn)行標(biāo)注，得到不同缺陷以及不同缺陷狀態(tài)的樣本集；

d）Mobilenet+FPN輕量級目標(biāo)檢測網(wǎng)絡(luò)訓(xùn)練，利用標(biāo)注好的鋼繩不同缺陷樣本集對Mobilenet+FPN輕量級目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至模型收斂；

去運(yùn)動模糊處理后的鋼繩生成圖片O_m，通過鋼繩表面缺陷目標(biāo)檢測模型，實(shí)現(xiàn)對鋼繩表面缺陷的目標(biāo)檢測，輸出為檢測到的鋼繩表面缺陷。