[發明專利]一種基于視頻深度學習的路面缺陷識別方法和系統

在審

• 申請號: 202010905965.0
• 申請日: 2020-09-01
• 公開（公告）號: CN112184625A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 任魯西;任鵬飛;徐浪
• 申請（專利權）人: 燊賽（上海）智能科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/08;G06N3/04
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 杜立軍

1.一種基于視頻深度學習的路面缺陷識別方法，其特征在于，所述方法包括：

巡檢車輛上的視頻采集設備實時采集路面視頻，同時標定GPS坐標；

根據網絡帶寬、數據流量及服務器配置判斷將路面視頻發送至云平臺或者巡檢車輛上部署的計算設備；

若發送至所述計算設備，所述計算設備解碼實時視頻流，使用深度學習模型分析實時視頻流，確定道路病害的類別、數量及缺陷點在圖片中的位置，截取缺陷點對應的幀圖像，標記GPS定位信息上傳至云平臺；

若發送至所述云平臺，所述云平臺解碼實時視頻流，使用深度學習模型分析實時視頻流，確定道路病害的類別、數量及缺陷點在圖片中的位置，截取缺陷點對應的幀圖像，標記GPS定位信息進行存儲，并且啟動報警模塊，對重要報警信息進行遠程推送，以使得在web前端界面顯示。

2.如權利要求1所述的方法，其特征在于，所述深度學習模型為提前訓練好的卷積神經網絡模型，所述卷積神經網絡的模型訓練過程為：

標注采集到道路病害的正樣本與副樣本；

對樣本進行數據增強；

把數據集按照7：3的比例劃分為訓練集和測試集；

將樣本先輸入7層Conv+MaxPool網絡提取特征，再將特征分別輸入13*13、26*26分辨率的探測網絡獨立輸出先驗框，對于每個先驗框都有5個屬性(x,y,w,h,c)，其中前4個值是邊界框bbox相對于feature map的位置和大小，最后1個值是置信度；

使用置信度過濾大多數多余的框，并通過均方誤差和二值交叉熵計算損失，得到模型權重，所述權重用于優化所述計算設備和云平臺。

3.如權利要求1所述的方法，其特征在于，所述方法還包括：

通過巡檢車輛上部署的衛星定位系統，云平臺實時采集每輛巡檢車輛的實時定位，使用開放地圖API定位巡檢車輛當前位置并繪制行駛軌跡，以使得路政部門對運維車輛進行日常巡檢。

4.如權利要求1所述的方法，其特征在于，所述web前端界面采用B/S架構設計，用于運維人員從瀏覽器獲取巡檢車輛實時高清視頻直播、實時缺陷截圖及缺陷種類分析、巡檢車輛行駛軌跡、當日及歷史運維數據存儲、統計圖表。

5.一種基于視頻深度學習的路面缺陷識別系統，其特征在于，所述系統包括：

數據采集模塊，用于巡檢車輛上的視頻采集設備實時采集路面視頻，同時標定GPS坐標；

數據傳輸模塊，用于根據網絡帶寬、數據流量及服務器配置判斷將路面視頻發送至云平臺或者巡檢車輛上部署的計算設備；

計算設備識別模塊，用于若發送至所述計算設備，所述計算設備解碼實時視頻流，使用深度學習模型分析實時視頻流，確定道路病害的類別、數量及缺陷點在圖片中的位置，截取缺陷點對應的幀圖像，標記GPS定位信息上傳至云平臺；

云平臺識別模塊，用于若發送至所述云平臺，所述云平臺解碼實時視頻流，使用深度學習模型分析實時視頻流，確定道路病害的類別、數量及缺陷點在圖片中的位置，截取缺陷點對應的幀圖像，標記GPS定位信息進行存儲，并且啟動報警模塊，對重要報警信息進行遠程推送，以使得在web前端界面顯示。

6.如權利要求5所述的系統，其特征在于，所述深度學習模型為提前訓練好的卷積神經網絡模型，所述卷積神經網絡的模型訓練過程為：

標注采集到道路病害的正樣本與副樣本；

對樣本進行數據增強；

把數據集按照7：3的比例劃分為訓練集和測試集；

將樣本先輸入7層Conv+MaxPool網絡提取特征，再將特征分別輸入13*13、26*26分辨率的探測網絡獨立輸出先驗框，對于每個先驗框都有5個屬性(x,y,w,h,c)，其中前4個值是邊界框bbox相對于feature map的位置和大小，最后1個值是置信度；

使用置信度過濾大多數多余的框，并通過均方誤差和二值交叉熵計算損失，得到模型權重，所述權重用于優化所述計算設備和云平臺。