[發(fā)明專利]基于深度學習的材料顯微圖像缺陷識別方法、設備及裝置

有效

• 申請?zhí)枺?/td>: 202110259892.7
• 申請日: 2021-03-10
• 公開（公告）號: CN112862811B
• 公開（公告）日: 2023-06-13
• 發(fā)明（設計）人: 曹元成;徐佐;沙武鑫;朱志華;武漢琦;程丹芃;曹志成
• 申請（專利權）人: 華中科技大學;中信戴卡股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06T7/70;G06N3/08;G06N3/0464
• 代理公司: 武漢卓越志誠知識產(chǎn)權代理事務所(特殊普通合伙) 42266
• 代理人: 胡婷婷

1.一種基于深度學習的材料顯微圖像缺陷識別方法，其特征在于，包括：

獲取待識別圖像；

將所述待識別圖像分割成若干預設大小的圖像子塊，輸入到預先訓練好的缺陷識別模型，得到待識別圖像的缺陷信息；

其中，所述缺陷識別模型包括：

卷積神經(jīng)網(wǎng)絡模型，用于提取圖像特征集合以及預測得分；所述卷積神經(jīng)網(wǎng)絡模型依次包括5個階段101個卷積層、2個并行的全連接模塊以及1個輸出層；

區(qū)域生成模型，用于確定缺陷位置信息；所述區(qū)域生成模型包括5個卷積層、2個并行的全連接模塊以及1個輸出層，輸出層后接1個RoI?Align模塊；

和語義分割模型，用于確定缺陷類別信息；所述語義分割模型依次包括1個featuremap層，3個并行的全連接模塊以及1個輸出層；

所述缺陷識別模型的訓練方法包括如下步驟：

S1.獲取若干顯微圖像，并對所述顯微圖像的缺陷類別和缺陷位置進行分類標注；將含有一或多個缺陷的顯微圖像通過仿射變換分割成按預設權重配比的訓練集；所述分類標注的方法為包圍框標注；所述仿射變換是將圖像邊界進行灰度填充后，再進行旋轉、縮放、翻轉，以豐富圖像集；

S2.利用所述訓練集對預配置權重的缺陷識別模型進行訓練；具體如下：

利用訓練集對預先構建的卷積神經(jīng)網(wǎng)絡模型進行訓練，包括：

1、將訓練集輸入預先構建的卷積神經(jīng)網(wǎng)絡模型，設置模型預設系數(shù)；

2、卷積神經(jīng)網(wǎng)絡模型中每一卷積層提取出不同尺度的語義較強的特征圖，特征金字塔融合四個卷積層的特征圖；

3、利用隨機高斯分布初始化卷積神經(jīng)網(wǎng)絡模型的所有權值，并利用訓練集對卷積神經(jīng)網(wǎng)絡模型進行訓練，獲取卷積神經(jīng)網(wǎng)絡模型中最后一個卷積層輸出的特征圖；

利用訓練集以及卷積神經(jīng)網(wǎng)絡模型輸出的特征圖對區(qū)域生成模型進行訓練，包括：

1、由所述卷積神經(jīng)網(wǎng)絡模型輸出后的結果得到缺陷的初步位置；

2、使用平移和縮放對應的線性回歸方法對識別位置進行具體調整，將新得到的位置信息返回，判斷是否超出原初步位置范疇；

3、設置重疊率閾值，計算所述卷積神經(jīng)網(wǎng)絡模型輸出的預測細胞包圍框與實際缺陷包圍框的重疊率，將大于所述重疊率閾值的所述重疊率對應的預測缺陷包圍框作為樣本框；

4、返回重新平移或縮放，否則以新位置信息作為初步位置循環(huán)；

接著利用所述區(qū)域生成模型的輸出對語義分割模型進行訓練，包括：

1、通過所述RoI?Align層對輸入不同尺寸的特征圖進行歸一化調整；

2、采用梯度優(yōu)化算法，利用分割掩碼生成網(wǎng)絡模型輸出的二值分割掩碼圖對預先構建的語義分割模型進行訓練，語義分割模型采用的損失函數(shù)為：

其中，M表示類別數(shù)量；y_c是指示變量0或1，如果該類別和樣本的類別相同就是1，否則是0；p_c代表觀測樣本屬于c類別的預測概率；

引入交叉熵權重解決缺陷圖像樣本不均衡的問題：

其中w_c為每個類別的權重，其計算公式為：

式中，N表示總的像素個數(shù)，而N_c表示類別為c的像素個數(shù)，相比于原始的交叉熵Loss，在樣本數(shù)量不均衡的情況下可以獲得更好的效果；

所述缺陷識別模型訓練采用的損失函數(shù)為：

L＝L_cls+L_box+L_mask

式中，L_cls為分類損失，L_box為框的回歸損失，L_mask為掩碼損失；

Lcls：利用softmax函數(shù)對候選區(qū)域進行分類，得到框的類別k；分類損失Lcls計算如下：

L_cls(P_i，P_i^*)＝-log[P_i*P_i^*+(1-P_i^*)(1-P_i)]

其中，i為框的索引，Pi為目標的預測概率，當框內有物體時，P_i^*為1，否則為0；

Lbox：實為先驗框(Px,Py,Pw,Ph)與實際框(Gx,Gy,Gw,Gh)的回歸，使用SmoothL1Loss計算回歸框Lbox的損失；其公式如下：

其中，t_i為先驗框(Px,Py,Pw,Ph)的坐標，為實際框(Gx,Gy,Gw,Gh)的坐標，x，y，w，h分別為框的中心坐標，長與寬；

Lmask：利用Lcls得到框的類別k，僅在k類別上計算誤差；預測出二值掩膜后，對掩膜的每個像素點應用sigmoid函數(shù)，整體損失的計算使用平均二值交叉損失熵，公式如下：

式中，y為預測像素點，y_i為真實像素點；

所述訓練方法包括：

coco.h文件作為缺陷預設權重，利用隨機高斯過程設置所述卷積神經(jīng)網(wǎng)絡模型的內參數(shù)；所述卷積神經(jīng)網(wǎng)絡模型接收上次訓練返回的loss值對參數(shù)進行調整，將輸入圖像進行操作，提取出多組不同尺度的特征圖；

所述多組不同尺度的特征圖經(jīng)ROI?Align層調整為統(tǒng)一尺度的特征圖，輸入所述區(qū)域生成模型，判斷缺陷位置信息；

最后，經(jīng)所述語義分割模型判斷缺陷類別信息，畫出掩膜，輸出圖像，并與所述訓練集的圖像比較，計算出class、box、mask三種loss值，然后返回至所述卷積神經(jīng)網(wǎng)絡模型，重復上述步驟；

首先采用分類標記對獲取的材料結構顯微圖像進行缺陷標注；然后利用仿射變換將樣本圖片集分割形成訓練集；接著利用含有分類標注的訓練集對預先構建的缺陷識別模型進行訓練；最后利用訓練好的缺陷識別模型對待識別缺陷樣本進行缺陷檢測，獲得目標缺陷樣本中的缺陷類型與個數(shù)；

采用的缺陷識別模型包括卷積網(wǎng)絡模型、區(qū)域生成模型和語義分割模型三個子模型；在模型訓練過程中，卷積網(wǎng)絡模型提取訓練集中子圖片的特征集合以及預測得分，區(qū)域生成模型以訓練集和卷積網(wǎng)絡模型為輸入，不斷調整預測框位置以確定缺陷位置信息，最后經(jīng)語義分割模型對像素進行檢測判斷缺陷類型，得到正確語義分割信息；通過特征金字塔融合了底層到高層的特征圖，在增加較少計算量的前提下融合低分辨率語義信息較強的特征圖和高分辨率語義信息較弱但空間信息豐富的特征圖；顯著降低模型復雜度及運算時間，提高了模型計算速度和預測精度。