[發(fā)明專利]一種基于視頻深度學(xué)習(xí)的路面缺陷識別方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010905965.0
• 申請日: 2020-09-01
• 公開（公告）號: CN112184625A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計）人: 任魯西;任鵬飛;徐浪
• 申請（專利權(quán)）人: 燊賽（上海）智能科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/08;G06N3/04
• 代理公司: 北京知呱呱知識產(chǎn)權(quán)代理有限公司 11577
• 代理人: 杜立軍

本申請實施例公開了一種基于視頻深度學(xué)習(xí)的路面缺陷識別方法和系統(tǒng)，所述方法包括：巡檢車輛上的視頻采集設(shè)備實時采集路面視頻；根據(jù)網(wǎng)絡(luò)帶寬、數(shù)據(jù)流量及服務(wù)器配置判斷將路面視頻發(fā)送至云平臺或者巡檢車輛上部署的計算設(shè)備；若發(fā)送至所述計算設(shè)備，所述計算設(shè)備確定道路病害的類別、數(shù)量及缺陷點在圖片中的位置，截取缺陷點對應(yīng)的幀圖像標(biāo)記GPS定位信息上傳至云平臺；若發(fā)送至所述云平臺，所述云平臺確定道路病害的類別、數(shù)量及缺陷點在圖片中的位置，截取缺陷點對應(yīng)的幀圖像，標(biāo)記GPS定位信息進行存儲，對重要報警信息進行遠程推送，以使得在web前端界面顯示。實現(xiàn)了道路路面缺陷實時檢測、定位及報警等一系列功能。

技術(shù)領(lǐng)域

本申請實施例涉及人工智能技術(shù)領(lǐng)域，具體涉及一種基于視頻深度學(xué)習(xí)的路面缺陷識別方法和系統(tǒng)。

背景技術(shù)

截至2019年，中國公路總里程已達484.65萬公里、高速公路達14.26萬公里，公路里程總量位居世界第一。隨之而來的公路道路養(yǎng)護管理的工作量日益加劇，對管理水平的需求不斷提高，原有陳舊的人工為主的養(yǎng)護方式無法適應(yīng)時代。智能養(yǎng)護成為了時代的必然。因此，道路病害自動化檢測應(yīng)由而生。

從當(dāng)前公路養(yǎng)護發(fā)展的狀況來看，大多公路路面病害(如裂紋、凹陷等)的識別形式仍采用傳統(tǒng)的方式，即人工目視巡檢的方式，該方式工作效率慢，耽誤工程進度，影響通行效率。少數(shù)路面巡檢采用視頻錄像取樣事后分析的方式，但實時性差，且仍需要安排大量人力事后分析視頻畫面，并不能真正提高巡檢效率。

發(fā)明內(nèi)容

為此，本申請實施例提供一種基于視頻深度學(xué)習(xí)的路面缺陷識別方法和系統(tǒng)，用于道路自動化智能巡檢。系統(tǒng)通過部署在公路巡檢車輛上的智能設(shè)備來對路面進行實時視頻拍攝、通過無線通信網(wǎng)絡(luò)將視頻發(fā)送至云端后臺，并使用路面缺陷專用AI算法進行智能分析，通過云平臺Web數(shù)據(jù)可視化及遠程指揮監(jiān)控等方式，提供了道路路面缺陷實時檢測、定位及報警等一系列功能，徹底解決了原有行業(yè)效率低下、人力投入量大、響應(yīng)不及時、缺乏數(shù)據(jù)分析等問題。

為了實現(xiàn)上述目的，本申請實施例提供如下技術(shù)方案：

根據(jù)本申請實施例的第一方面，提供了一種基于視頻深度學(xué)習(xí)的路面缺陷識別方法，所述方法包括：

巡檢車輛上的視頻采集設(shè)備實時采集路面視頻，同時標(biāo)定GPS坐標(biāo)；

根據(jù)網(wǎng)絡(luò)帶寬、數(shù)據(jù)流量及服務(wù)器配置判斷將路面視頻發(fā)送至云平臺或者巡檢車輛上部署的計算設(shè)備；

若發(fā)送至所述計算設(shè)備，所述計算設(shè)備解碼實時視頻流，使用深度學(xué)習(xí)模型分析實時視頻流，確定道路病害的類別、數(shù)量及缺陷點在圖片中的位置，截取缺陷點對應(yīng)的幀圖像，標(biāo)記GPS定位信息上傳至云平臺；

若發(fā)送至所述云平臺，所述云平臺解碼實時視頻流，使用深度學(xué)習(xí)模型分析實時視頻流，確定道路病害的類別、數(shù)量及缺陷點在圖片中的位置，截取缺陷點對應(yīng)的幀圖像，標(biāo)記GPS定位信息進行存儲，并且啟動報警模塊，對重要報警信息進行遠程推送，以使得在web前端界面顯示。

可選地，所述深度學(xué)習(xí)模型為提前訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，所述卷積神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練過程為：

標(biāo)注采集到道路病害的正樣本與副樣本；

對樣本進行數(shù)據(jù)增強；

把數(shù)據(jù)集按照7：3的比例劃分為訓(xùn)練集和測試集；

將樣本先輸入7層Conv+MaxPool網(wǎng)絡(luò)提取特征，再將特征分別輸入13*13、26*26分辨率的探測網(wǎng)絡(luò)獨立輸出先驗框，對于每個先驗框都有5個屬性(x,y,w,h,c)，其中前4個值是邊界框bbox相對于feature map的位置和大小，最后1個值是置信度；

使用置信度過濾大多數(shù)多余的框，并通過均方誤差和二值交叉熵計算損失，得到模型權(quán)重，所述權(quán)重用于優(yōu)化所述計算設(shè)備和云平臺。