[發明專利]基于寬度學習神經網絡的橋梁路面裂縫分類識別方法

有效

• 申請號: 201910380261.3
• 申請日: 2019-05-08
• 公開（公告）號: CN110197203B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 郭黎;卜慎慎;廖宇;李曉艷;李潤澤;江鑫
• 申請（專利權）人: 湖北民族大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G01N21/95
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 楊柳岸

1.一種基于寬度學習神經網絡的橋梁裂縫分類識別方法，其特征在于：該方法包括以下步驟：

步驟一、創建寬度學習圖像訓練集；

步驟二、訓練寬度學習神經網絡模型；

步驟三、使用訓練好的神經網絡模型對待檢測圖像進行檢測并輸出預測標簽圖像；

步驟四、根據預測標簽圖像輸出檢測結果，包括圖像類別、裂縫的坐標信息以及裂縫的像素級寬度值和長度值；

步驟五、根據檢測結果輸出病害記錄結果，若待檢測橋梁路面圖像中存在裂縫，則記錄圖像名稱、裂縫的坐標信息以及裂縫的寬度值和長度值；若待檢測圖像中沒有裂縫，則就不需要記錄；

步驟六、將pc端訓練好的模型導入到移動端再到車載系統；

所述步驟一包括：

S11：采集橋梁路面圖像：通過移動拍攝設備拍攝橋梁路面表面得到橋梁路面圖像；

S12：通過人工篩查橋梁圖像選出若干張的裂縫圖像和非裂縫圖像，并且調整圖像大小；橋梁路面圖像的格式與原始橋梁路面圖像需要保持一致；原始圖像記為I，寬和高記為(W,H)，調整之后的圖像記為I’，寬和高記為(W’,H’)；

S13：使用MATLAB軟件打開調整大小后的橋梁裂縫圖像，并通過MATLAB篩選出裂縫區域記為Rc，非裂縫區域記為Ri；

S14：對選出的裂縫區域和非裂縫區域進行不同顏色填充，顏色填充完成后，保存為訓練集標簽圖像，此時圖像格式要和原始橋梁裂縫圖片格式一致，寬度和高度記為(W’,H’)；

所述步驟二包括：

S21：搭建寬度學習神經網絡結構：寬度學習神經網絡通過把特征節點層和增強節點層連接形成網絡，其權重參數通過偽逆來求解，寬度學習神經網絡的代價函數選擇softmaxloss函數，激活函數選擇S型Sigmoid函數；為防止寬度學習神經網絡模型過擬合，在代價函數中加入權值衰減weight decay L1，L2正則化項；

S22：選擇訓練策略：寬度學習神經網絡訓練使用求L2正則化求偽逆方法進行優化求解，實現加速學習過程；

S23：選擇機器學習庫：使用機器學習框架tensorflow實現以上所述的寬度學習神經網絡結構，并根據已選擇的訓練策略和圖像訓練集進行訓練；

所述步驟三包括：

S31：選擇一張橋梁路面圖像作為待檢測圖像，并通過使用雙線性插值的方法把待檢測圖像大小調至(W’，H’)像素，其中待檢測圖像采集要求與寬度學習訓練集圖像保持一致；

S32：使用機器學習框架tensorflow實現以上所述的寬度學習神經網絡結構模型，對待檢測圖像進行推理預測，輸出預測標簽圖像Il；

所述步驟四包括：

S41：通過對預測標簽圖像使用雙三次插值的方法，把其大小調整到橋梁原始圖片大小(W,H)，把調整后的預測標簽圖像記成Q1，它的格式和原始橋梁圖像的格式保持一致；

S42：運用寬度神經網絡分類器在每個圖像塊中擬合一條線段，通過判斷圖像塊中是否存在擬合出來的線段，來定位裂縫所占區域；遍歷預測標簽圖像Q1中的所有連通區域，即裂縫區域，使用連通域面積最小化的方法來提取裂縫區域的外接矩形，并計算外接矩形的寬和高的比值，記為Bhw；若Bhw大于或者等于線性判定閾值，則標記為有效裂縫區域；如果Bhw小于線性判定閾值，就標記為無效裂縫區域，其中線性判定閾值記為Ti；如果預測標簽圖像Q1中不存在有效裂縫區域，圖像類別Class設為0；反之圖像類別Class設為1；

S43：通過遍歷有效裂縫區域，提取其輪廓點坐標集，記為Ps，輪廓點坐標的個數記為Ns，并計算它外接矩形長邊的角度，記為θ；計算方法如下式：

其中，P1(x1,y1)和P2(x2,y2)是外接矩形長邊的兩個端點坐標；

S44：計算橋梁裂縫的像素級長度：對橋梁裂縫區域的輪廓點坐標集Ps進行抽樣，抽樣間隔記為N1，抽樣后得到的輪廓點坐標的個數記為Ns1；抽樣后的輪廓點坐標集記為Ps1并計算橋梁裂縫的像素級長度值Lp，計算方法如下：

S45：計算橋梁裂縫的像素級寬度：抽樣間隔記為N2，對裂縫區域的輪廓點坐標集Ps進行抽樣，抽樣后的輪廓點坐標集記為Ps2，輪廓點坐標的個數記為Ns2；根據抽樣后的輪廓點坐標集Ps2計算裂縫的像素級寬度值Wp，具體的計算方法步驟如下：

①先把抽樣后的各輪廓點位置的裂縫像素級寬度值初始化為0；

②遍歷抽樣后的輪廓點坐標集Ps2，計算相鄰兩點的角度值，記做θs；比較θ和θs，如果兩者間的誤差絕對值大于或者等于角度偏差閾值，那么就放棄計算當前輪廓點位置的裂縫的像素級寬度值，繼續遍歷下一個輪廓點，角度偏差閾值記為T；如果兩者間的誤差絕對值小于角度偏差閾值，則計算出當前輪廓點位置的裂縫的像素級寬度值；各輪廓點位置的橋梁裂縫的像素級寬值記為Wp1，方法如下：

W_p1ⁱ＝cos(θ_sⁱ)*D_o

D_o＝|Ps2(i).y-Ps(j).y|

j＝{j|Ps2(i).x＝Ps(j).x}

其中，i∈[1，Ns2]，j∈[1,Ns]；

③橋梁裂縫的像素級寬度值做過處理后：首先去除Wp1中的零值，然后再計算Wp1的平均值，并且把此平均值作為最終的裂縫的像素級寬度值Wp。