[發(fā)明專利]一種基于缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)的圖像檢測方法

在審

• 申請?zhí)枺?/td>: 202110080146.1
• 申請日: 2021-01-21
• 公開（公告）號: CN112906689A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 周正東;章栩苓;張靈維
• 申請（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/46;G06N3/04;G06T7/00
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 張弛

本發(fā)明公開了一種基于缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)的圖像檢測方法。包括如下步驟：1)對被檢測目標(biāo)的圖像進(jìn)行預(yù)處理及像素標(biāo)注，構(gòu)建訓(xùn)練集和驗(yàn)證集；2)構(gòu)建缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)模型；3)利用訓(xùn)練集和驗(yàn)證集對構(gòu)建的缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗(yàn)證；4)將待檢測的圖像輸入訓(xùn)練好的缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)模型中，獲得缺陷檢測與分割結(jié)果。本發(fā)明具有缺陷檢測與分割精度高的特點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)視覺的目標(biāo)檢測與分割技術(shù)領(lǐng)域，具體涉及一種基于梯度和旋轉(zhuǎn)框的缺陷檢測的方法。

背景技術(shù)

X射線成像是無損檢測的主要手段之一。傳統(tǒng)的方法依靠人工對X射線圖像進(jìn)行缺陷檢測，檢測人員的經(jīng)驗(yàn)對于檢測效率有很大影響，且存在漏檢、錯檢的情況。隨著深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的不斷完善，對于目標(biāo)檢測領(lǐng)域，由于卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取和學(xué)習(xí)能力，能夠?qū)D像進(jìn)行特征提取且對目標(biāo)進(jìn)行層次化的特征表示，具有良好的檢測性能。

但也存在如下的問題：

(1)對于裂紋等缺陷，運(yùn)用傳統(tǒng)的水平矩形框不能很好地擬合缺陷輪廓。

(2)在深度卷積神經(jīng)網(wǎng)絡(luò)中，對于目標(biāo)邊緣的重視程度不夠。邊緣作為圖像的一種基本特征，為人們描述或識別目標(biāo)以及解釋圖像提供了一個重要的特征參數(shù)。對于分割網(wǎng)絡(luò)來說，需要對邊緣更加重視，以得到更精確的分割掩膜。

現(xiàn)有技術(shù)中，專利CN111968084A公開的“一種基于人工智能的航空發(fā)動機(jī)葉片缺陷快速精準(zhǔn)識別方法”，建立了缺陷初檢和復(fù)檢模型實(shí)現(xiàn)對航空發(fā)動機(jī)葉片缺陷的檢測，但對于不同形狀的缺陷都用水平矩形框擬合缺陷輪廓，導(dǎo)致檢測效率低，且會框住大量的無關(guān)背景；專利CN109800735A公開的“一種船目標(biāo)精確檢測與分割方法”，利用單一比例的旋轉(zhuǎn)矩形框在特征圖的像素點(diǎn)上滑動，使得檢測結(jié)果更加精確，但沒有重視目標(biāo)的邊緣部分，導(dǎo)致分割精度不高。

發(fā)明內(nèi)容

本發(fā)明的目的在于提高被檢測目標(biāo)X射線圖像中缺陷檢測與分割的精度。為達(dá)到上述目的，本發(fā)明可采用如下的技術(shù)方案：

一種基于缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)的圖像檢測方法，包括以下步驟：

(S1)對被檢測目標(biāo)的圖像進(jìn)行預(yù)處理及像素標(biāo)注，構(gòu)建訓(xùn)練集和驗(yàn)證集；對圖像進(jìn)行標(biāo)注，具體為，對圖像進(jìn)行像素標(biāo)注，并根據(jù)標(biāo)注的輪廓生成最小外接矩形，作為缺陷的真實(shí)框，輸出真實(shí)框的中心點(diǎn)坐標(biāo)、長、寬和旋轉(zhuǎn)角度；

(S2)構(gòu)建缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)模型，包括以下分步驟；

(S21)設(shè)置特征提取網(wǎng)絡(luò)，用以引入基于圖像梯度的注意力機(jī)制模塊，與特征金字塔網(wǎng)絡(luò)組合構(gòu)成缺陷檢測深度卷積神經(jīng)網(wǎng)絡(luò)模型的特征提取網(wǎng)絡(luò)，得到特征圖；

(S22)設(shè)置區(qū)域建議網(wǎng)絡(luò)，在區(qū)域建議網(wǎng)絡(luò)中預(yù)設(shè)矩形旋轉(zhuǎn)錨點(diǎn)框代替水平矩形錨點(diǎn)框，在特征圖的每一個特征點(diǎn)上滑動，輸出錨點(diǎn)框作為前景的置信度和與真實(shí)框的偏移量，根據(jù)偏移量修正錨點(diǎn)框，得到預(yù)測框；

(S23)按照得到的預(yù)測框置信度進(jìn)行排序，并利用非極大值抑制方法篩選獲得感興趣區(qū)域；比較感興趣區(qū)域與真實(shí)框之間的交并比，選取交并比大于0.5的為正樣本，否則為負(fù)樣本；

(S24)提取每個正樣本中的像素點(diǎn)，通過感興趣區(qū)域池化層輸出相同維度的特征向量，將每個特征向量輸入檢測分割網(wǎng)絡(luò)的三個分支，計算分類損失、包圍盒損失和掩碼損失；

(S3)利用訓(xùn)練集和驗(yàn)證集對構(gòu)建的缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗(yàn)證；

(S4)將待檢測的圖像輸入訓(xùn)練好的缺陷檢測與分割深度卷積神經(jīng)網(wǎng)絡(luò)模型中，獲得缺陷檢測與分割結(jié)果，根據(jù)正樣本和真實(shí)框的偏移量，得到二次修正后的水平矩形包圍盒；以水平矩形包圍盒的長為長軸，寬為短軸，中心點(diǎn)不變做橢圓，得到橢圓包圍盒；得到的橢圓包圍盒和掩膜一起逆時針旋轉(zhuǎn)θ，得到最終的輸出結(jié)果；θ是旋轉(zhuǎn)角度。