[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的道路裂縫自動檢測方法

有效

• 申請?zhí)枺?/td>: 201910745317.0
• 申請日: 2019-08-13
• 公開（公告）號: CN110503637B
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計）人: 林俊浩;單云霄;陳龍
• 申請（專利權(quán)）人: 中山大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的道路裂縫自動檢測方法，其特征在于，包括以下步驟：

S1.采集含有裂縫的圖片數(shù)據(jù)，使用圖像處理軟件對圖片進行像素級別的標注；

S2.從原始圖片中提取出w*h大小的小圖片，利用統(tǒng)計的方法，根據(jù)小圖片中裂縫像素的總數(shù)來劃分正負樣本并根據(jù)一定比例劃分為訓練集和測試集，對訓練集的正樣本進行旋轉(zhuǎn)，翻轉(zhuǎn)操作，增加訓練集數(shù)據(jù)的多樣性；

S3.采用遷移學習的思想，邊訓練邊測試，取在測試集中準確率和召回率綜合最好的網(wǎng)絡(luò)權(quán)重進行保存，得到一個二分類器；在所述的S3步驟中，使用卷積神經(jīng)網(wǎng)絡(luò)進行分類，包括以下步驟：

S31.神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置；所用的模型都基于Nvidia GTX1070上的Pytorch的API，將訓練的epoch設(shè)置為25，使用SGD作為優(yōu)化器，模型的學習率、batch size、沖量、衰減步數(shù)和衰減率分別為0.001、256、0.9、7和0.1；

S32.使用交叉熵函數(shù)作為Loss函數(shù)；表示為如下公式：

其中，為預(yù)測值，y_i為真實值，即標注值；

S33.網(wǎng)絡(luò)選取精確度與召回率；對模型的召回率和精確度進行計算，暫存當前最好的模型的權(quán)重，所有epoch的訓練結(jié)束后保存具有最好的召回率和精確度的模型，其計算公式如(2)(3)：

式中，Pr、Re、TP、FP和FN分別為精確度、召回率、真正例、假正例和假負例；由于在程序中無法直接獲取TP、FP和FN的值，令R為檢測中正樣本的數(shù)目，P為預(yù)測結(jié)果中為正樣本的數(shù)目，T為預(yù)測值與真實值不同的樣本數(shù)目，R、P和T都是可以在程序運行時計算出來的，由R、P和T的定義，有如下關(guān)系：

R＝TP+FN (4)

P＝TP+FP (5)

T＝FN+TN (6)

由上式得：

因此精確度和召回率的公式可改寫成如下形式：

S34.選取網(wǎng)絡(luò)權(quán)重；召回率大于當前最好的召回率或精確度大于當前最好的精確度，則將其暫存于內(nèi)存中，執(zhí)行完所有的epoch后，將其保存到本地；

S4.使用攝像頭獲取路面的圖像，將輸入的每一幀圖片進行4x4像素鄰域內(nèi)的雙立方插值，將像素改變?yōu)閃*H；

S5.將圖片等分為w*h大小的檢測單元并記錄其位置信息，利用步驟S3訓練出來的二分類器對每一個檢測單元分類，輸出該單元是否為裂縫單元；

S6.對檢測為裂縫的區(qū)域分別進行多個角度的旋轉(zhuǎn)，得到多個新的樣本，再次進行檢測，若有兩個以上被分類為裂縫，則確信其為裂縫，否則更新其為非裂縫；

S7.根據(jù)步驟S6優(yōu)化后的裂縫結(jié)果，標出裂縫單元在原圖片的位置，如有裂縫單元，則給出提示。

2.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)的道路裂縫自動檢測方法，其特征在于，所述的S1步驟使用圖像處理軟件對圖片進行像素級別標注具體包括以下步驟：

S11.使用Photoshop的索套工具將裂縫區(qū)域剪切出來；

S12.將剪切的區(qū)域保存為新的圖層，圖層以純黑色為底色；

S13.圖片轉(zhuǎn)為csv格式，觀察圖片的像素值分布，裂縫像素與無關(guān)像素具有明顯的區(qū)別，觀察其分布規(guī)律，選取合適的閾值；

S14.使用matlab，根據(jù)圖片的R通道，設(shè)置合適的閾值，將處于閾值內(nèi)的像素標為1，其余的標為0，輸出為.mat文件，即為標注文件；

S15.將標注文件可視化。

3.根據(jù)權(quán)利要求2所述的基于卷積神經(jīng)網(wǎng)絡(luò)的道路裂縫自動檢測方法，其特征在于，所述的S2步驟中，將裂縫像素總數(shù)大于50的樣本分為正樣本，將裂縫數(shù)小于20的樣本分為負樣本；從數(shù)據(jù)集中提取出N萬張數(shù)據(jù)，其中正負樣本比例為1：3，訓練集和測試集的比例為1：5。