[發(fā)明專利]基于圖像識(shí)別深度學(xué)習(xí)的道路病害檢測(cè)系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110616773.2
• 申請(qǐng)日: 2021-06-03
• 公開（公告）號(hào): CN113096126B
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 寇世豪;鄭武;張蓉;鄧承剛;楊海濤
• 申請(qǐng)（專利權(quán)）人: 四川九通智路科技有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/11;G06T7/187;G06K9/32;G06K9/38;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都天嘉專利事務(wù)所(普通合伙) 51211
• 代理人: 康拯通

1.基于圖像識(shí)別深度學(xué)習(xí)的道路病害檢測(cè)系統(tǒng)，其特征在于：包括圖像處理模塊、圖像檢測(cè)模塊、圖像分割模塊以及圖像分類模塊；

所述圖像處理模塊用于對(duì)采集到的若干不同待檢測(cè)道路的圖像進(jìn)行預(yù)處理，待檢測(cè)道路的圖像，對(duì)待檢測(cè)道路的圖像進(jìn)行裁切、翻轉(zhuǎn)以及亮度/對(duì)比度/色調(diào)變換處理，所述翻轉(zhuǎn)，是在路面情況圖像的原始圖片上，以圖片橫向的中心線和縱向的中心線為翻轉(zhuǎn)中心線分別進(jìn)行上下翻轉(zhuǎn)和左右翻轉(zhuǎn)，所述亮度/對(duì)比度/色調(diào)變換，是基于路面情況圖像的原始圖片，在原始圖片的HSV顏色空間中對(duì)色調(diào)（H）、飽和度（S）、亮度（V）三個(gè)數(shù)值分別以隨機(jī)的方式各自進(jìn)行數(shù)值調(diào)整；待檢測(cè)道路的圖像中包含各種道路病害的路面情況圖像、以及相關(guān)道路病害的標(biāo)簽數(shù)據(jù)，所述標(biāo)簽數(shù)據(jù)明確了道路病害位置、類型具體情況，形成樣本圖像集，即建立一個(gè)明確了道路病害位置、類型具體情況的圖集作為標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，將經(jīng)過(guò)預(yù)處理的圖像傳送至所述圖像檢測(cè)模塊中；對(duì)樣本圖像集中所有經(jīng)過(guò)樣本標(biāo)注步驟標(biāo)注的路面情況圖像進(jìn)行劃分，按照85%、10%、5%的比例將劃分為訓(xùn)練集、交叉驗(yàn)證集和測(cè)試集，對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，所述訓(xùn)練集，是以若干個(gè)batch批次進(jìn)行訓(xùn)練的，每個(gè)batch批次的選擇是以2的次方進(jìn)行選擇；

所述圖像檢測(cè)模塊通過(guò)Labelme標(biāo)注工具、根據(jù)道路左右兩邊終止實(shí)線為劃分、從所述圖像處理模塊預(yù)處理的圖像中提取出屬于道路路面的部分，并發(fā)送給所述圖像分割模塊以及圖像分類模塊；

所述圖像分割模塊通過(guò)經(jīng)訓(xùn)練學(xué)習(xí)的目標(biāo)分割網(wǎng)絡(luò)，從所述圖像檢測(cè)模塊中提取出的屬于道路路面的部分中以像素級(jí)的細(xì)粒度的進(jìn)行路面病害部分分割，用以刻畫路面病害的形態(tài)；所述經(jīng)訓(xùn)練學(xué)習(xí)的目標(biāo)分割網(wǎng)絡(luò)是使用maskrcnn網(wǎng)絡(luò)作為訓(xùn)練和預(yù)測(cè)用的網(wǎng)絡(luò)模型，每次將訓(xùn)練集中的一個(gè)batch批次的數(shù)據(jù)傳入到maskrcnn網(wǎng)絡(luò)中，具體的，首先，經(jīng)過(guò)用于對(duì)batch批次的數(shù)據(jù)進(jìn)行特征提取的卷積神經(jīng)網(wǎng)絡(luò)模塊，卷積神經(jīng)網(wǎng)絡(luò)模塊對(duì)應(yīng)路面情況圖像的CNN骨干網(wǎng)絡(luò)對(duì)batch批次的數(shù)據(jù)進(jìn)行主干特征提取，到若干種尺寸的特征圖；然后，將卷積神經(jīng)網(wǎng)絡(luò)模塊提取的這若干種尺寸的特征圖分別輸送到網(wǎng)絡(luò)模型的RPN網(wǎng)絡(luò)中進(jìn)行處理得到RPN網(wǎng)絡(luò)特征圖，所述RPN網(wǎng)絡(luò)特征圖會(huì)得到與特征對(duì)應(yīng)的、用于進(jìn)行檢測(cè)框坐標(biāo)精修的目標(biāo)檢測(cè)框；接著，將若干種尺寸的特征圖以及經(jīng)過(guò)所述RPN網(wǎng)絡(luò)處理后的RPN網(wǎng)絡(luò)特征圖輸入到網(wǎng)絡(luò)模型的ROI Align模塊中進(jìn)行縮放，得到固定大小的特征圖；得到固定大小的特征圖之后，將maskrcnn網(wǎng)絡(luò)劃分為兩個(gè)分支，其中一個(gè)分支將特征圖拉伸為固定長(zhǎng)度為1024的向量，傳入到maskrcnn網(wǎng)絡(luò)的全連接神經(jīng)網(wǎng)絡(luò)中進(jìn)行目標(biāo)檢測(cè)框的坐標(biāo)精修以及對(duì)目標(biāo)檢測(cè)框中框定的圖片區(qū)域進(jìn)行類別預(yù)測(cè)，而另一個(gè)分支是將特征圖傳入到maskrcnn網(wǎng)絡(luò)的FCN網(wǎng)絡(luò)進(jìn)行目標(biāo)區(qū)域分割；

還包括調(diào)參階段，在調(diào)參階段，根據(jù)損失函數(shù)的損失值的變化情況來(lái)對(duì)參數(shù)進(jìn)行調(diào)整，選擇的優(yōu)化器為SGD優(yōu)化器對(duì)網(wǎng)絡(luò)模型訓(xùn)練和進(jìn)行參數(shù)調(diào)整，調(diào)整的參數(shù)是通過(guò)SGD優(yōu)化器中的學(xué)習(xí)率以及神經(jīng)網(wǎng)絡(luò)的層數(shù)參數(shù)，SGD優(yōu)化器的運(yùn)算公式如下：，其中，x即在處理的圖像數(shù)據(jù)、y是該圖像數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽，i代表的是第i個(gè)數(shù)據(jù)，n代表的是每個(gè)batch批次包含的數(shù)據(jù)量，是神經(jīng)網(wǎng)絡(luò)中的權(quán)重參數(shù)；α是學(xué)習(xí)率，控制著模型更新權(quán)重參數(shù)的步伐是多大，選擇的范圍是在[0.01,0.1]之間，間隔選擇0.01， 就是對(duì)損失函數(shù)進(jìn)行求導(dǎo)得到的導(dǎo)數(shù)，每次將訓(xùn)練集中的一個(gè)batch批次的數(shù)據(jù)傳入到maskrcnn網(wǎng)絡(luò)中后，在經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)模塊對(duì)數(shù)據(jù)進(jìn)行特征提取前還要先采用Batch_Norm批量歸一化方法對(duì)每一個(gè)batch批次的數(shù)據(jù)進(jìn)行歸一化處理，以避免訓(xùn)練結(jié)果發(fā)散，對(duì)于一個(gè)batch批次的圖片數(shù)據(jù)B={x₁,x₂,...,x_m}進(jìn)行歸一化處理得到微調(diào)的數(shù)據(jù)，其中，γ和β是maskrcnn網(wǎng)絡(luò)中、在模型訓(xùn)練步驟過(guò)程中隨著訓(xùn)練過(guò)程不斷地進(jìn)行調(diào)整的兩個(gè)常數(shù)變量，y_i是在新的數(shù)據(jù)上經(jīng)過(guò)線性變換進(jìn)行微調(diào)的數(shù)據(jù)，用于傳入神經(jīng)網(wǎng)絡(luò)中新一層的神經(jīng)元，而是經(jīng)過(guò)運(yùn)算之后得到的新的數(shù)據(jù)，是普朗克常量，代表一個(gè)很小的常數(shù)，避免分母出現(xiàn)0的情況；則是傳入的數(shù)據(jù)與其均值的方差，；是一個(gè)batch批次的數(shù)據(jù)的均值，，其中m是一個(gè)batch批次中圖片的數(shù)目，x_i就是我們傳入到模型進(jìn)行訓(xùn)練的數(shù)據(jù)，當(dāng)損失值基本不下降了的時(shí)候就停止訓(xùn)練，模型訓(xùn)練完畢；

所述圖像分類模塊根據(jù)先驗(yàn)閾值，將所述圖像檢測(cè)模塊中提取出的屬于道路路面的部分，按照不同的道路病害類別和等級(jí)進(jìn)行聚類分類。