[發明專利]基于計算機視覺的橋梁車輛荷載時空分布細粒度識別方法

有效

• 申請號: 202110458470.2
• 申請日: 2021-04-27
• 公開（公告）號: CN113221682B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 朱勁松;李興田
• 申請（專利權）人: 天津大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/25;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 劉玲

1.基于計算機視覺的橋梁車輛荷載時空分布細粒度識別方法，其特征在于：包括以下步驟：

步驟1、根據橋梁橋面的現場條件安裝監控攝像頭，捕獲橋面車輛的行駛視頻；

調整監控攝像頭的高度和傾斜角度，保證能夠拍攝到車道上行駛車輛的前、右和上三個表面；

步驟2、對步驟1中監控攝像頭進行詳細的標定，得到監控攝像頭內部參數矩陣和外部參數矩陣以及監控攝像頭相對于橋面的投影矩陣；

步驟2.1、確定小標定板，從不同角度和位置對小標定板進行拍攝，利用拍攝的視頻圖像完成監控攝像頭的第一次標定并存儲監控攝像頭的內部參數矩陣；

步驟2.2、確定大標定板，將大標定板置于橋面中間車道進行拍攝，利用拍攝的視頻圖像與內部參數矩陣求得監控攝像頭的外部參數矩陣；

步驟2.3、根據步驟2.1和步驟2.2兩次標定，得到監控攝像頭相對于橋面的投影矩陣，同時利用投影矩陣對監控攝像頭投影誤差進行核校，檢查監控攝像頭參數矩陣的正確性；

步驟3、創建模型訓練和測試的數據集用于對深度卷積神經網絡進行學習與檢測；

步驟3.1、創建用于模型訓練和測試的數據集；

數據集包括：使用監控攝像頭獲取橋面任意時刻、車道及車型的視頻圖像，利用照相機拍攝交通路面上任意時刻、車道及車型的圖像，以及著名車輛數據集中車輛的圖像；

步驟3.2、利用深度卷積神經網絡，對數據集中的車輛特征進行提取，然后進行目標位置預測和分類，再結合各類損失函數和誤差反向傳播，對向深度卷積神經網絡中的權重進行逐次更新，直至損失函數不再減小；

步驟3.3、在學習過程中利用部分圖像檢測深度卷積神經網絡的學習成果，并根據PR曲線評估模型精度及其檢測能力；

步驟3.4、保存權重數據；

步驟4、利用步驟3得到的深度卷積神經網絡對步驟1中行駛視頻的視頻幀進行分析計算，得到車輛的類型、置信度、2D包圍盒以及車輛軸數；

步驟5、通過計算機視覺技術得到車輛的3D包圍盒；

步驟6、根據步驟5的車輛3D包圍盒，通過卡爾曼濾波算法進行車輛追蹤，得到車輛時空分布信息；

步驟7、根據步驟6的車輛時空分布信息，通過跨監控攝像頭多目標追蹤的方法獲得車輛荷載的全橋時空分布。

2.根據權利要求1所述的基于計算機視覺的橋梁車輛荷載時空分布細粒度識別方法，其特征在于：所述步驟4包括以下步驟：

步驟4.1、在橋面上設定ROI，并對橋面區域內的車輛進行檢測；

步驟4.2、通過深度卷積神經網絡對視頻幀中的車輛進行特征提取；

步驟4.3、根據車輛提取的特征，計算得到車輛的類型、置信度和2D包圍盒；

步驟4.4、將步驟4.3計算的結果繼續通過深度卷積神經網絡計算，得到車輛車輪的置信度和包圍盒，進而得到車輛軸數。

3.根據權利要求1所述的基于計算機視覺的橋梁車輛荷載時空分布細粒度識別方法，其特征在于：所述步驟5包括以下步驟：

步驟5.1、通過步驟2得到的投影矩陣建立車輛的參數方程，根據步驟4結果計算出車輛在橋面的空間位置坐標和3D包圍盒的像素尺寸；

步驟5.2、利用計算機視覺技術將像素尺寸轉換為空間車輛的實際尺寸；

步驟5.3、循環獲取ROI范圍內所有視頻幀內車輛的3D包圍盒，并根據計算結果和統計數據進一步確定車輛的類型、軸數、軸距和車輛的輪廓尺寸大小；

步驟5.4、對車輛的類型、置信度和3D包圍盒進行可視化輸出。

4.根據權利要求1所述的基于計算機視覺的橋梁車輛荷載時空分布細粒度識別方法，其特征在于：所述步驟6包括以下步驟：

步驟6.1、將當前視頻幀中檢測到的車輛包圍盒進行傳遞并初始化車輛的追蹤參數；

步驟6.2、根據假設的車輛系統方程計算下一幀中該車輛的狀態向量；

步驟6.3、根據車輛的當前狀態預測下一幀中該車輛的狀態向量；

步驟6.4、更新該車輛的狀態向量，準備下一步的循環計算并完成追蹤；

步驟6.5、根據追蹤結果，得到該車輛的行駛軌跡、行駛速度、車輛總重和軸重。

5.根據權利要求1所述的基于計算機視覺的橋梁車輛荷載時空分布細粒度識別方法，其特征在于：所述步驟7包括以下步驟：

步驟7.1、根據單攝像頭下車輛的局部信息和特征，進行車輛重識別；

步驟7.2、將第一個監控攝像頭識別到的車輛荷載信息跟隨車輛ID進行傳遞，以實現車輛荷載的跨監控攝像頭追蹤；

步驟7.3、綜合所有監控攝像頭追蹤到的車輛信息，得到車輛荷載的全橋時空分布。