[發明專利]一種基于多層特征融合神經網絡模型的橋梁車輛車輪檢測方法

有效

• 申請號: 201910079277.0
• 申請日: 2019-01-28
• 公開（公告）號: CN109886312B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 趙才榮;傅佳悅;夏燁
• 申請（專利權）人: 同濟大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/774;G06V10/764;G06V10/82;G06N3/0464
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

本發明涉及一種基于多層特征融合神經網絡模型的橋梁車輛車輪檢測方法，包括以下步驟：1)構建基于多層特征融合的深度學習神經網絡模型；2)利用訓練樣本數據集對模型進行訓練；3)對橋梁上拍攝的待檢測圖像進行圖像增強的預處理操作；4)將預處理后的圖像輸入模型中，得到具有車輪車輛類別坐標標定的輸出圖像；5)利用重疊率度量方法，將圖像中檢測到的車輪與對應車輛進行匹配。與現有技術相比，本發明具有提高了檢測的精度，增強了實時性，降低漏檢概率等優點，本發明在實現車輛目標檢測的同時也實現了車輪的檢測，并自動將同一圖像上的車輛與車輪匹配。

技術領域

本發明涉及監控視頻智能分析領域與橋梁外部荷載監測領域，尤其是涉及一種基于深度學習的橋梁車輛車輪檢測方法。

背景技術

車輛車輪檢測屬于目標檢測任務。目標檢測的任務是找出圖像中所有感興趣的目標(物體)，是機器視覺領域的核心問題之一。目標檢測不僅要定位出目標的位置并且知道目標物是什么。對于計算機來說，面對的是RGB像素矩陣，很難從圖像中直接得到車和船這樣的抽象概念并定位其位置，再加上物體姿態、光照和復雜背景混雜在一起，使得物體檢測更加困難。在本發明中，感興趣的目標是車輛和車輪。

目標檢測算法分為傳統目標檢測算法和結合深度學習的目標檢測算法。

傳統的目標檢測方法大致可以分為三個步驟：第一個是檢測窗口的選擇，第二個是特征的設計，第三個是分類器的設計。首先對圖像中可能的目標位置提出建議，也就是提出一些可能含有目標的候選區域，然后采用合適的特征模型得到特征表示，最后借助分類器判斷各個區域中是否含有特定類型的目標，并且通過一些后處理操作，例如邊框位置回歸等，得到最終的目標邊框。但傳統的目標檢測方法存在特征表達能力弱、檢測速度慢等問題。

基于深度學習的目標檢測方法可以分為兩類：基于區域提名的目標檢測算法，包括R-CNN、SPP-net、Fast?R-CNN、Faster?R-CNN、R-FCN、Mask?RCNN等；端到端的、無需區域提名的目標檢測算法，如YOLO、SSD、YOLOv2、YOLOv3等。基于區域提名的目標檢測算法，主要包含兩個過程：候選區域生成和區域分類。區別于R-CNN系列為代表的兩步檢測算法，端到端的目標檢測算法舍去了候選框提取分支，直接將特征提取、候選框回歸和分類在用一個無分支的卷積網絡中完成，使得網絡結構變得簡單，檢測速度較Faster?RCNN有顯著的提升，可以達到在實時的檢測速度水平下，仍然保持很高的檢測精度。

基于深度學習的目標檢測算法在檢測速度和檢測精度上已經超過了傳統的目標檢測算法，但這類目標檢測算法需要足夠的訓練集數據來實現模型的訓練。目前，開放的車輛類數據集有KITTI數據集、PASCAL?VOC數據集和COCO數據集的部分車輛圖像訓練樣本，且不存在車輪訓練數據集。這對車輛車輪的檢測造成一定的困難，難以完成現實場景下的車輛車輪檢測。

專利CN108629279A提出了一種基于卷積神經網絡的車輛目標檢測的方法，采用Faster?R-CNN算法進行車輛目標檢測，但該方法分為兩個階段，RPN網絡提取ROI區域和Fast?R-CNN網絡進行分類和回歸，時間性能較差，難以實時運行。

專利CN108596053A提出了一種基于SSD和車輛姿態分類的車輛檢測方法和系統，根據車頭與水平軸的角度對車輛姿態進行劃分，將車輛檢測損失和車輛姿態分類任務的損失結合起來形成多任務損失。然而，將車輛姿態分類任務作為車輛檢測任務的輔助任務，會額外增添網絡的負擔，且當圖像中存在多個車輛目標時，分類任務的精確度會降低，對最終算法性能造成較大影響。

目前還沒有針對檢測車輛車輪的較好方法，更沒有能完成現實場景下的車輛車輪檢測方法。

發明內容

本發明的目的就是為了克服上述現有問題，并實現對交通荷載更好的監測而提供的一種基于深度學習的車輛車輪檢測方法。

本發明的目的可以通過以下技術方案來實現：