[發明專利]一種基于深度學習的隧道表面缺陷分割方法

有效

• 申請號: 202010311654.1
• 申請日: 2020-04-20
• 公開（公告）號: CN111507990B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 汪俊;馮一簞;李大偉;魏明強;劉樹亞;李虎
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04;G06N3/06;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 陳亮亮

1.一種基于深度學習的隧道表面缺陷分割方法，其特征在于包含以下步驟：

步驟一：圖像采集；

步驟二：圖像預處理及數據集劃分；

步驟三：網絡構建，以深度殘差網絡為基礎，將其最后的全連接層替換為卷積層；

所述步驟三具體為構建深度神經網絡，以深度殘差網絡為基礎，將深度殘差網絡中特征提取部分替換為三層空洞卷積，第四至十五層均由大小為3*3的卷積核、非線性激活函數及最大池化層構成，而第十五至十六層由3*3的卷積核、非線性激活函數構成，所有網絡層都包含殘差連接，其中第八層包含1*1卷積層以融合多個通道輸出識別結果，使用空洞卷積操作達到提升感受野的功能；

所述步驟三構件的深度神經網絡，在輸入層至輸出層之間設有依次連接的十六個卷積層，其中，前三個卷積層為空洞卷積層，后十一個卷積層均包括有依次連接的卷積核、激活函數以及最大池化層，第十五卷積層和第十六卷積層只包括依次連接的卷積核和激活函數；

所述卷積層中每個神經元的權值矩陣被稱為卷積核或濾波器，卷積核與輸入之間是局部連接的，通過訓練，卷積操作提取出圖像中的語義特征；全卷積神經網絡的第四至第十五卷積層的后面均連接了大小為2×2，步幅為2的最大池化層；

步驟四：訓練深度神經網絡，初始化網絡參數，設置初始學習率，將步驟二處理后得到的訓練和驗證集成批次輸入深度卷積神經網絡，每批次更新網絡參數，設置訓練停止條件，滿足條件時停止訓練，得到最終模型；

步驟五：用步驟四中訓練好的模型對待檢測的隧道表面圖像實施分割，將隧道表面圖像輸入到深度神經網絡，網絡輸出像素級缺陷分割結果圖。

2.按照權利要求1所述的一種基于深度學習的隧道表面缺陷分割方法，其特征在于：所述步驟一具體為使用拍攝裝置采集大量的原始隧道表面圖像，圖像包含缺陷圖片及無缺陷圖片，隧道表面缺陷包括滲水、裂縫、脫落和缺損。

3.按照權利要求1所述的一種基于深度學習的隧道表面缺陷分割方法，其特征在于：所述步驟二具體為圖像預處理過程包括：圖像去噪、圖像增強、圖像裁剪及標注，采用旋轉、縮放、切割方法對圖像進行擴充和增強，將擴充后的圖像數據集的樣本，80％作為訓練集和驗證集，20％作為測試集。

4.按照權利要求3所述的一種基于深度學習的隧道表面缺陷分割方法，其特征在于：所述圖像預處理過程采用鄰域加權平均算法對原始圖像濾除干擾噪聲，具體過程為

假設圖像中某像素點的灰度為f(x,y)，它的鄰域S為M×N的矩形窗口，則用鄰域加權平均算法進行濾波后，該像素點的灰度為：

式(1)中，w代表像素點權值；

根據灰度值設置不同像素點的權值w，采用鄰域加權平均方法可以使得原圖像在濾除噪聲的同時保護裂縫細節。

5.按照權利要求1所述的一種基于深度學習的隧道表面缺陷分割方法，其特征在于：所述激活函數采用非線性激活函數ReLu函數，ReLu函數為

f(x)＝max(0,x) (2)

式(2)中，x為進入神經元的來自上一層神經網絡的輸入向量。

6.按照權利要求1所述的一種基于深度學習的隧道表面缺陷分割方法，其特征在于：所述步驟四具體為采用訓練集的圖像對構建的深度神經網絡進行訓練，通過遷移學習的方式設置模型的預訓練值，經過前向傳播后逐像素計算Softmax分類的損失，采用隨機梯度下降法和反向傳播算法進行權重的迭代更新，直到所構建模型的損失值趨向于收斂時，完成全卷積深度學習模型的訓練。

7.按照權利要求6所述的一種基于深度學習的隧道表面缺陷分割方法，其特征在于：使用遷移學習的方法訓練全卷積神經網絡，將深度殘差模型的預訓練權重通過遷移學習的方式設置為構建的全卷積神經網絡的預訓練值，訓練過程中，建立基于Pytorch深度學習庫搭建的損失函數和優化器；使用交叉熵函數作為損失函數，所述損失函數為其中i表示圖像中的像素點，n表示圖像像素點的總數，y_true表示期望輸出，y_pred表示實際輸出；使用Adam及SGD作為網絡權重優化方法，預設最大迭代訓練輪數為800輪；訓練參數設置為：預設訓練最大迭代800輪，minibatch為24張訓練數據，前100次學習率為0.01，后每一百輪下降一半，momentum設置為0.9。