[發明專利]一種路面異常情況監測方法、系統、存儲介質及設備

在審

• 申請號: 202111507845.6
• 申請日: 2021-12-10
• 公開（公告）號: CN114170569A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 張一德;劉國良
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/17;G06K9/62;G06N3/04;G06N3/08;G06V10/46;G06V10/764;G06V10/80;G06V10/82
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

本發明屬于路面圖像處理領域，提供了一種路面異常情況監測方法、系統、存儲介質及設備。其中，該方法包括獲取實時路面視頻信息；基于預先訓練完成的路面異常監測模型，得到實時路面視頻信息中各幀路面圖像的異常監測結果；其中，所述路面異常監測模型包括主干網絡、特征融合網絡和輸出端；所述主干網絡用于對各幀路面圖像進行多尺度特征提?。凰鎏卣魅诤暇W絡用于融合所述多尺度特征；所述輸出端用于通過檢測候選框與目標真實框之間的差值來確定特征融合后的路面圖像中候選框顯示閾值，再從確定的候選框中保留設定置信度的候選框并同時輸出對應異常類別。

技術領域

本發明屬于路面圖像處理領域，尤其涉及一種路面異常情況監測方法、系統、存儲介質及設備。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

隨著公路通車里程和汽車保有量不斷增加，對道路養護服務提出了新的要求，道路養護工作面臨著新的巨大難度，比如道路圖像的獲取以及道路圖像異常情況的檢測精度等等。

在現有技術中，無人機技術的高速發展為公路交通監測和管理提供了一種全新的解決方案，但是現有的無人機巡檢大多需要飛行結束后離線讀取拍攝的視頻數據，再通過人工肉眼觀看的方式檢測道路異常情況，此種方式需要耗費大量人力和資源，不能保證實時性且檢測準確率低，容易出現漏檢和誤檢的情況。

發明內容

為了解決上述背景技術中存在的技術問題，本發明提供一種路面異常情況監測方法、系統、存儲介質及設備，其能夠保證路面異常監測的實時性和準確性。

為了實現上述目的，本發明采用如下技術方案：

本發明的第一個方面提供一種路面異常情況監測方法，其包括：

獲取實時路面視頻信息；

基于預先訓練完成的路面異常監測模型，得到實時路面視頻信息中各幀路面圖像的異常監測結果；

其中，所述路面異常監測模型包括主干網絡、特征融合網絡和輸出端；所述主干網絡用于對各幀路面圖像進行多尺度特征提??；所述特征融合網絡用于融合所述多尺度特征；所述輸出端用于通過檢測候選框與目標真實框之間的差值來確定特征融合后的路面圖像中候選框顯示閾值，再從確定的候選框中保留設定置信度的候選框并同時輸出對應異常類別。

作為一種實施方式，所述路面異常監測模型在訓練階段還包括輸入端，所述輸入端用于對訓練路面異常監測模型的路面圖像進行數據增強處理。

作為一種實施方式，所述主干網絡使用跨階段局部網絡對各幀路面圖像進行特征提取。

作為一種實施方式，所述特征融合網絡為特征金字塔網絡。

作為一種實施方式，在所述輸出端中，利用加入CIOU Loss損失函數的nms非極大值抑制算法對特征融合后的路面圖像進行處理，其中，CIOU Loss損失函數用于檢測候選框與目標真實框之間的差值來確定特征融合后的路面圖像中候選框顯示閾值。

作為一種實施方式，所述路面視頻信息為通過拉流的方式實時獲取的無人機采集的視頻信息。

本發明的第二個方面提供一種路面異常情況監測系統，其包括：

視頻獲取模塊，其用于獲取實時路面視頻信息；

異常監測模塊，其用于基于預先訓練完成的路面異常監測模型，得到實時路面視頻信息中各幀路面圖像的異常監測結果；

其中，所述路面異常監測模型包括主干網絡、特征融合網絡和輸出端；所述主干網絡用于對各幀路面圖像進行多尺度特征提取；所述特征融合網絡用于融合所述多尺度特征；所述輸出端用于通過檢測候選框與目標真實框之間的差值來確定特征融合后的路面圖像中候選框顯示閾值，再從確定的候選框中保留設定置信度的候選框并同時輸出對應異常類別。