[發明專利]一種基于深度卷積神經網絡的瀝青路面裂縫圖像分割方法

有效

• 申請號: 202110012193.2
• 申請日: 2021-01-06
• 公開（公告）號: CN112634292B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 萬海峰;李娜;孫啟潤;黃磊;苑兆迪
• 申請（專利權）人: 煙臺大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 山東三邦知識產權代理事務所(普通合伙) 37308
• 代理人: 肖太升;高洋

1.一種基于深度卷積神經網絡的瀝青路面裂縫圖像分割方法，其特征在于，包括以下步驟：

步驟一：準備瀝青路面裂縫圖片數據集；

步驟二：圖片預處理；圖片的預處理包括對大的圖像進行縮放到統一的尺寸；

步驟三：設定CrackResAttentionNet的模型結構；CrackResAttentionNet的模型采用基于編碼器-解碼器的結構，包括編碼器和解碼器，在每個編碼器和解碼器之間，增加一個注意力模塊，所述注意力模塊位于每個編碼器后并與相應的解碼器相連；

所述編碼器由輸入層、編碼層-1至編碼層-5組成，其中編碼層-1至編碼層-4分別對應經過預備訓練的ResNet34網絡的第一層至第四層，分別為ResNet34-1至ResNet34-4；解碼器由解碼層-1至解碼層-5、輸出層組成；

步驟四：確定損失函數；使用像素交叉熵損失(CE)、平衡像素交叉熵損失(BCE)以及Dice損失進行比較：

步驟401：像素交叉熵損失CE如下公式(6)所示：

上述i表示像素的索引，n*n表示輸出圖像的大小，p_i為樣本的真實值，正類為1，負類為0，為樣本預測為正的概率；

步驟402：平衡像素交叉熵損失與像素交叉熵損失類似，權重之和為1，如下公式(7)所示：

其中，BCE為平衡像素交叉熵損失，n*n表示輸出像素的大小，β為平衡系數，p_i為樣本的真實值，正類為1，負類為0，為樣本預測為正的概率；

步驟403：Dice損失從交并比IoU的角度設計，Dice損失如公式(8)所示：

公式(8)中，TP為像素真陽性，FN為像素假陰性；

步驟五：確定優化器，采用Adam優化器；

步驟六：初始化權值矩陣；對于ResNet34預訓練模型部分，使用預訓練模型的權值，對于除ResNet34以外的其它層包括輸入層、輸出層、編碼層5、解碼層1至解碼層5，使用正態分布初始化權值矩陣；

步驟七：前向傳播；輸入信號在權值矩陣的幫助下，得到每一層的輸出，最終到達輸出層的預測值；

步驟八：反向傳播；當通過前向傳播得到由任意一組隨機參數計算出的網絡預測結果后，利用損失函數相對于每個參數的梯度進行修正更新；

步驟九：更新權值矩陣；根據反向傳播得到的參數的梯度來對權值矩陣進行更新；

步驟十：如果沒有到達最大訓練次數，則返回步驟七，繼續前向傳播，否則就保存性能最好的CrackResAttentionNet二進制模型；

步驟十一：輸入待分割的瀝青路面裂縫圖像；將拍攝的瀝青路面裂縫圖像搜集后，作為系統的輸入；

步驟十二：圖像預處理；圖片的預處理包括對大的圖像進行縮放到統一的尺寸；

步驟十三：加載訓練好的CrackResAttentionNet，其步驟為：

步驟1301：根據傳入的文件名稱，找到訓練好的模型文件；

步驟1302：讀取模型文件到內存；

步驟1303：預測模型使用加載的模型文件里的參數進行預測；

步驟十四：裂縫圖像分割輸出；輸入帶裂縫的瀝青路面圖像，通過訓練好的CrackResAttentionNet，預測出分割好的瀝青路面圖像，其中裂縫的像素以白色顯示，其他背景則以黑色顯示；

步驟十五：獲取訓練好的CrackResAttentionNet模型文件保存在磁盤上，同時加載模型二進制文件到內存。

2.如權利要求1所述的方法，其特征在于，所述步驟一中，具體采用步驟101或步驟102的方案：

步驟101：直接使用已經標注的公開的裂縫分割數據集，該數據集包含瀝青路面裂縫圖像以及已經標注的裂縫形狀和位置，作為裂縫圖片數據集；

步驟102：拍攝真實的瀝青路面裂縫照片，組成裂縫圖片數據集；通過Labelme軟件手動給每張裂縫照片標注裂縫形狀和位置；

步驟102，手動標注采用以下4個分步驟予以實現：

步驟1021，啟動Labelme軟件窗口，打開一張瀝青路面裂縫照片；

步驟1022，根據裂縫的形狀，用鼠標在裂縫的外輪廓畫出多邊形，使得多邊形剛好覆蓋了裂縫；

步驟1023，給裂縫命名為crack標記，并保存該圖像文件；

步驟1024，Labelme會自動生成一個json文件，包含了多邊形的各個坐標點位置和標記。