[發(fā)明專利]改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)的混凝土路面裂縫檢測方法

有效

• 申請?zhí)枺?/td>: 202110432301.1
• 申請日: 2021-04-21
• 公開（公告）號: CN113222904B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 瞿中;曹沖;鮑康華
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06T3/00;G06T11/40;G06V10/46;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 張晨

1.一種改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)的混凝土路面裂縫檢測方法，其特征在于，包括以下步驟：

獲取路面圖像集，并從所述路面圖像集中篩選出具有裂縫的路面圖像，同時劃分為訓(xùn)練集和測試集；

基于仿射變換和非剛體變換，對所述路面圖像以及對應(yīng)的標(biāo)注進行數(shù)據(jù)增強處理；

將數(shù)據(jù)增強后的所述訓(xùn)練集輸入改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)進行訓(xùn)練，直至迭代次數(shù)達到指定閾值或者性能指標(biāo)滿足應(yīng)用要求，完成訓(xùn)練；

基于所述測試集判斷所述改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)是否滿足應(yīng)用要求，若滿足，則保存所述改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)，若不滿足，則修改數(shù)據(jù)增強和訓(xùn)練環(huán)境的超參數(shù)重新進行訓(xùn)練；

使用訓(xùn)練好的模型進行路面裂縫檢測，并對提取得到的路面裂縫使用基于連通域標(biāo)記分類算法，對裂縫進行分類和嚴(yán)重程度的評估；

將數(shù)據(jù)增強后的所述訓(xùn)練集輸入改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)進行訓(xùn)練，直至迭代次數(shù)達到指定閾值或者性能指標(biāo)滿足應(yīng)用要求，完成訓(xùn)練，包括：

將數(shù)據(jù)增強后的所述訓(xùn)練集輸入改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)，正向推理得到預(yù)測結(jié)果；

使用改進加權(quán)交叉熵損失函數(shù)計算所述預(yù)測結(jié)果與標(biāo)記之間的損失值；

使用隨機梯度下降算法以當(dāng)前所述損失值對所述改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)權(quán)重求導(dǎo)，反向傳播梯度，更新所述改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)權(quán)重；

直到迭代次數(shù)達到指定閾值或者性能指標(biāo)滿足應(yīng)用要求，完成訓(xùn)練；

將數(shù)據(jù)增強后的所述訓(xùn)練集輸入改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)，正向推理得到預(yù)測結(jié)果，包括：

使用基于VGG-FPN作為骨干網(wǎng)絡(luò)，提取分別縮小2倍、4倍、8倍的多尺度卷積特征圖；

使用改進的金字塔池化模塊提取所述訓(xùn)練集中的所述路面圖像的底層卷積特征，再分別2倍、4倍、8倍上采樣后與相同尺度的淺層特征融合；

每次多尺度特征融合過程中，使用結(jié)合注意力機制的特征整合模塊來平滑不同尺度特征的差距，整合不同尺度的特征融合；

使用整合后精煉卷積特征來預(yù)測路面裂縫；

其中，改進的金字塔池化模塊在金字塔池化模塊的基礎(chǔ)上添加了全局上下文模塊，金字塔池化模塊有三個并行池化分支，將輸入特征分別降采樣至分辨率為1×1、3×3和5×5的特征，再分別上采樣恢復(fù)至輸入特征圖的分辨率，最后使用一個1×1卷積將特征圖通道壓縮到輸入通道數(shù)；

全局上下文模塊有構(gòu)建全局上下文信息和非線性變換兩個階段，首先，輸入特征被分成兩個分支，一條分支使用1×1卷積將輸入特征調(diào)整為HW×1×1，并使用Softmax函數(shù)將其數(shù)值規(guī)范至0-1之間的小數(shù)，得到注意力熱力圖，再與另一條恒等映射分支相點乘，得到C×1×1通道注意力向量；然后，注意力向量依次通過1×1卷積層、歸一化層、Relu激活函數(shù)、1×1卷積層增加該變換的非線性；

在改進的金字塔池化模塊中具有最小尺度的深層特征被分別引入淺層特征，在每個特征融合后接上一個結(jié)合全局上下文的特征整合模塊；

結(jié)合注意力機制的特征整合模塊包括：

原始的特征整合模塊有三個不同下采樣倍率的并行分支，每個分支是一個平均池化、3×3卷積層和雙線性插值上采樣操作序列，再將三個并行分支特征以求和方式進行整合，采用全局上下文模塊提取特征的全局信息，再與特征整合模塊的結(jié)果求和，并使用3×3卷積獲得最后整合特征圖；

改進加權(quán)交叉熵損失函數(shù)包括：

其中，y分別表示預(yù)測概率圖和Ground?True；y⁽ⁱ⁾分別表示像素位置預(yù)測概率值和對應(yīng)像素位置Ground?True；|Y⁺|,|Y^-|,N分別表示裂縫樣本的數(shù)目，非裂縫樣本的數(shù)目和概率圖中樣本總數(shù)。

2.如權(quán)利要求1所述的改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)的混凝土路面裂縫檢測方法，其特征在于，基于仿射變換和非剛體變換，對所述路面圖像以及對應(yīng)的標(biāo)注進行數(shù)據(jù)增強處理，包括：

獲取隨機生成的一個隨機數(shù)，并判斷所述隨機數(shù)是否大于執(zhí)行數(shù)據(jù)增強的閾值；

若大于執(zhí)行數(shù)據(jù)增強的閾值，則以反射方式取所述路面圖像較長邊填充圖像，并以多種設(shè)定的概率值進行數(shù)據(jù)增強處理。

3.如權(quán)利要求2所述的改進PoolNet網(wǎng)絡(luò)結(jié)構(gòu)的混凝土路面裂縫檢測方法，其特征在于，若大于執(zhí)行數(shù)據(jù)增強的閾值，則以反射方式取所述路面圖像較長邊填充圖像，并以多種設(shè)定的概率值進行數(shù)據(jù)增強處理，包括：

大于執(zhí)行數(shù)據(jù)增強的閾值，則以反射方式取所述路面圖像較長邊填充圖像，得到一個正方形圖像；

以0.2的概率添加高斯噪聲；

以0.5的概率進行水平翻轉(zhuǎn)；

以0.5的概率隨機仿射變換，包括以32個像素內(nèi)隨機平移，在放縮倍數(shù)區(qū)間[-0.1,0.1]內(nèi)隨機放縮以及旋轉(zhuǎn)角區(qū)間[-30°,30°]內(nèi)隨機旋轉(zhuǎn)；

以0.5的概率從三種非剛體變換中隨機選擇執(zhí)行，三種非剛體變換包括彈性變換、隨機調(diào)整亮度和對比度、打亂通道。