[發明專利]一種基于多層特征融合神經網絡模型的橋梁車輛車輪檢測方法

有效

• 申請號: 201910079277.0
• 申請日: 2019-01-28
• 公開（公告）號: CN109886312B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 趙才榮;傅佳悅;夏燁
• 申請（專利權）人: 同濟大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/774;G06V10/764;G06V10/82;G06N3/0464
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

1.一種基于多層特征融合神經網絡模型的橋梁車輛車輪檢測方法，其特征在于，包括以下步驟：

1)構建基于多層特征融合的深度學習神經網絡模型；

2)利用訓練樣本數據集對模型進行訓練；

3)對橋梁上拍攝的待檢測圖像進行圖像增強的預處理操作；

4)將預處理后的圖像輸入模型中，得到具有車輪車輛類別坐標標定的輸出圖像；

5)利用重疊率度量方法，將圖像中檢測到的車輪與對應車輛進行匹配；

所述的步驟1)中，構建基于多層特征融合的深度學習神經網絡模型，具體包含以下四個步驟：

步驟1.1，構建特征提取模塊；

步驟1.2，構建多層特征融合模塊；

步驟1.3，設置默認框；

步驟1.4，構建多任務訓練損失函數；

所述的步驟1.2中，多層特征融合模塊的構建，具體包括：

第一層為特征融合層P1：

輸入：卷積層conv8_2的輸出特征圖Out8_2大小為3*3*256、卷積層conv7_2的輸出特征圖Out7_2大小為5*5*256；

操作：對特征圖Out8_2進行卷積操作，設定256個特征平面，卷積核大小為1*1，再進行反卷積操作，設定256個特征平面，卷積核大小為3*3，最后輸出大小為5*5*256；對特征圖Out7_2進行卷積操作，設定256個特征平面，卷積核大小為1*1，輸出大小為5*5*256；將上述兩個輸出的特征圖融合，對應的像素點進行點乘操作；對融合后的特征圖，通過3*3的卷積操作；

輸出：特征圖大小為5*5*256；

第二層為特征融合層P2：

輸入：特征融合層P1的輸出，卷積層conv6_2的輸出特征圖Out6_2大小為10*10*512；

操作：對特征融合層P1的輸出進行卷積操作，設定256個特征平面，卷積核大小為1*1，再進行反卷積操作，設定256個特征平面，卷積核大小為2*2，最后輸出大小為10*10*256；對特征圖Out6_2進行卷積操作，設定256個特征平面，卷積核大小為1*1，輸出大小為10*10*256；將上述兩個輸出的特征圖融合，對應的像素點進行點乘操作；對融合后的特征圖，通過3*3的卷積操作；

輸出：特征圖大小為10*10*256；

第三層為特征融合層P3：

輸入：特征融合層P2的輸出，卷積層fc7的輸出特征圖OutFc7大小為19*19*1024；

操作：對特征融合層P2的輸出進行卷積操作，設定256個特征平面，卷積核大小為1*1，再進行反卷積操作，設定256個特征平面，卷積核大小為3*3，最后輸出大小為19*19*256；對特征圖OutFc7進行卷積操作，設定256個特征平面，卷積核大小為1*1，輸出大小為19*19*256；將上述兩個輸出的特征圖融合，對應的像素點進行點乘操作；對融合后的特征圖，通過3*3的卷積操作；

輸出：特征圖大小為19*19*256；

第四層為特征融合層P4：

輸入：特征融合層P3的輸出，VGG-16網絡中卷積層conv4_3的輸出特征圖Out4_3大小為38*38*512；

操作：對特征融合層P3的輸出進行卷積操作，設定256個特征平面，卷積核大小為1*1，再進行反卷積操作，設定256個特征平面，卷積核大小為2*2，最后輸出大小為38*38*256；對特征圖Out4_3進行卷積操作，設定256個特征平面，卷積核大小為1*1，輸出大小為38*38*256；將上述兩個輸出的特征圖融合，對應的像素點進行點乘操作；對融合后的特征圖，通過3*3的卷積操作；

輸出：特征圖大小為38*38*256；

所述的步驟1.3中，設置默認框，具體方式如下：

其中，k表示第k個特征圖，m表示特征圖數目；選擇用于檢測的特征圖分別為步驟2.2中特征融合層P4的輸出、P3的輸出、P2的輸出、P1的輸出、步驟2.1中卷積層conv8_2的輸出、conv9_2的輸出；s_min取值0.2，s_max取值0.9，表示最低層的尺度為0.2，最高層的尺度為0.9；不同縱橫比a_r,和分別表示默認框的寬、高；

所述的步驟1.4中，采用多任務訓練損失函數中損失函數的計算公式具體如下：

其中，L_conf(x,c)表示置信度損失，L_loc(x,l,g)表示定位損失；N是與真實框匹配的預測框數目，參數α設置為1；x表示輸入圖片，是匹配第i個預測框到類別為p的第j個真值框的一個指示符；c表示置信度，l表示預測框，g表示真實框；Pos表示與真實框匹配的預測框集合；表示第i個預測框的參數值，其中m的取值(cx,cy),w,h分別表示預測框的中心坐標，以及預測框的寬度和高度；表示第j個真實框的參數值，其中m的取值(cx,cy),w,h分別表示真實框的中心坐標，以及真實框的寬度和高度；表示第i個默認框的參數值；表示第i個預測框屬于類別p的置信值；

所述的步驟5)中，重疊率度量方法中重疊率計算公式具體如下：

其中，x_p,x_q表示同一張圖像中檢測到的兩個目標，分別是目標x_p在圖像中的左上角坐標和右下角坐標，分別是目標x_q在圖像中的左上角坐標和右下角坐標，表示取與中較小的數，表示取與中較大的數。