[發(fā)明專利]一種基于缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)的圖像檢測方法

在審

• 申請?zhí)枺?/td>: 202110080146.1
• 申請日: 2021-01-21
• 公開（公告）號: CN112906689A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 周正東;章栩苓;張靈維
• 申請（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/46;G06N3/04;G06T7/00
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 張弛

1.一種基于缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)的圖像檢測方法,其特征在于，包括以下步驟：

(S1)對被檢測目標(biāo)的圖像進(jìn)行預(yù)處理及像素標(biāo)注，構(gòu)建訓(xùn)練集和驗證集；對圖像進(jìn)行標(biāo)注，具體為，對圖像進(jìn)行像素標(biāo)注，并根據(jù)標(biāo)注的輪廓生成最小外接矩形，作為缺陷的真實框，輸出真實框的中心點坐標(biāo)、長、寬和旋轉(zhuǎn)角度；

(S2)構(gòu)建缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)模型，包括以下分步驟；

(S21)設(shè)置特征提取網(wǎng)絡(luò)，用以引入基于圖像梯度的注意力機制模塊，與特征金字塔網(wǎng)絡(luò)組合構(gòu)成缺陷檢測深度卷積神經(jīng)網(wǎng)絡(luò)模型的特征提取網(wǎng)絡(luò)，得到特征圖；

(S22)設(shè)置區(qū)域建議網(wǎng)絡(luò)，在區(qū)域建議網(wǎng)絡(luò)中預(yù)設(shè)矩形旋轉(zhuǎn)錨點框代替水平矩形錨點框，在特征圖的每一個特征點上滑動，輸出錨點框作為前景的置信度和與真實框的偏移量，根據(jù)偏移量修正錨點框，得到預(yù)測框；

(S23)按照得到的預(yù)測框置信度進(jìn)行排序，并利用非極大值抑制方法篩選獲得感興趣區(qū)域；比較感興趣區(qū)域與真實框之間的交并比，選取交并比大于0.5的為正樣本，否則為負(fù)樣本；

(S24)提取每個正樣本中的像素點，通過感興趣區(qū)域池化層輸出相同維度的特征向量，將每個特征向量輸入檢測分割網(wǎng)絡(luò)的三個分支，計算分類損失、包圍盒損失和掩碼損失；

(S3)利用訓(xùn)練集和驗證集對構(gòu)建的缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗證；

(S4)將待檢測的圖像輸入訓(xùn)練好的缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)模型中，獲得缺陷檢測與分割結(jié)果，根據(jù)正樣本和真實框的偏移量，得到二次修正后的水平矩形包圍盒；以水平矩形包圍盒的長為長軸，寬為短軸，中心點不變做橢圓，得到橢圓包圍盒；得到的橢圓包圍盒和掩膜一起逆時針旋轉(zhuǎn)θ，得到最終的輸出結(jié)果；θ是旋轉(zhuǎn)角度。

2.如權(quán)利要求1所述的圖像檢測方法，其特征在于，所述步驟(S21)中，基于圖像梯度的注意力機制模塊具體為：對于維度為C*H*W的輸入圖像I，計算其中每個像素的梯度，得到一個維度為C*H*W的梯度圖像A；將梯度圖像A變形為維度為C*N的矩陣B，其中N＝H*W；將矩陣B轉(zhuǎn)置為矩陣C，其維度為N*C，將矩陣C與矩陣B相乘，得到維度為N*N的矩陣，對該N*N的矩陣中的每一個元素用softmax模型進(jìn)行計算，得到維度為N*N的矩陣D，矩陣D即為圖像梯度權(quán)重矩陣，將權(quán)重矩陣D與輸入圖像I相乘即為將注意力重點放在圖像邊緣后輸出的結(jié)果。

3.如權(quán)利要求1所述的圖像檢測方法，其特征在于，所述步驟(S22)中，輸出錨點框與真實框的偏移量，該偏移量的計算公式為：

式中x,y,a,b是旋轉(zhuǎn)矩形框中心坐標(biāo)及其長和寬，θ是旋轉(zhuǎn)角度，x^*、x'分別對應(yīng)真實框和錨點框，得到的分別為x,y,a,b,θ的偏移量，把偏移量分別加到錨點框的對應(yīng)坐標(biāo)上得到預(yù)測框的參數(shù)，記為x_p，y_p，a_p，b_p，θ_p。

4.如權(quán)利要求1所述的圖像檢測方法，其特征在于，所述步驟(S23)中，比較感興趣區(qū)域與真實框之間的交并比IoU，計算交并比的公式具體為：

其中，M為感興趣區(qū)域，N為真實框區(qū)域。

5.如權(quán)利要求1所述的圖像檢測方法，其特征在于，所述步驟(S24)中，通過感興趣區(qū)域池化層輸出相同維度的特征向量，具體為：

(S241)將正樣本中的每個旋轉(zhuǎn)框都順時針旋轉(zhuǎn)對應(yīng)的角度θ，轉(zhuǎn)變?yōu)樗降木匦慰颍?/p>

(S242)將矩形框分為若干個面積相等的柵格，每個柵格再分為2*2的小方格；

(S243)采用雙線性插值法得到每個小方格的像素值；

(S244)取每個柵格中2*2小方格的最大值作為整個柵格的值，所有柵格的值拼接成為固定尺寸的特征向量。

6.如權(quán)利要求1所述的圖像檢測方法，其特征在于，所述步驟(S1)圖像的預(yù)處理是將被檢測目標(biāo)的灰度圖像轉(zhuǎn)換為偽彩色圖像，具體為，把灰度圖像的灰度級從黑到白分成Q個區(qū)間，給每個區(qū)間指定一種顏色，得到一幅偽彩色的圖像。