[發明專利]一種路面異常情況監測方法、系統、存儲介質及設備

在審

• 申請號: 202111507845.6
• 申請日: 2021-12-10
• 公開（公告）號: CN114170569A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 張一德;劉國良
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/17;G06K9/62;G06N3/04;G06N3/08;G06V10/46;G06V10/764;G06V10/80;G06V10/82
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

1.一種路面異常情況監測方法，其特征在于，包括：

獲取實時路面視頻信息；

基于預先訓練完成的路面異常監測模型，得到實時路面視頻信息中各幀路面圖像的異常監測結果；

其中，所述路面異常監測模型包括主干網絡、特征融合網絡和輸出端；所述主干網絡用于對各幀路面圖像進行多尺度特征提取；所述特征融合網絡用于融合所述多尺度特征；所述輸出端用于通過檢測候選框與目標真實框之間的差值來確定特征融合后的路面圖像中候選框顯示閾值，再從確定的候選框中保留設定置信度的候選框并同時輸出對應異常類別。

2.如權利要求1所述的路面異常情況監測方法，其特征在于，所述路面異常監測模型在訓練階段還包括輸入端，所述輸入端用于對訓練路面異常監測模型的路面圖像進行數據增強處理。

3.如權利要求1所述的路面異常情況監測方法，其特征在于，所述主干網絡使用跨階段局部網絡對各幀路面圖像進行特征提取。

4.如權利要求1所述的路面異常情況監測方法，其特征在于，所述特征融合網絡為特征金字塔網絡。

5.如權利要求1所述的路面異常情況監測方法，其特征在于，在所述輸出端中，利用加入CIOU Loss損失函數的nms非極大值抑制算法對特征融合后的路面圖像進行處理，其中，CIOU Loss損失函數用于檢測候選框與目標真實框之間的差值來確定特征融合后的路面圖像中候選框顯示閾值。

6.如權利要求1所述的路面異常情況監測方法，其特征在于，所述路面視頻信息為通過拉流的方式實時獲取的無人機采集的視頻信息。

7.一種路面異常情況監測系統，其特征在于，包括：

視頻獲取模塊，其用于獲取實時路面視頻信息；

異常監測模塊，其用于基于預先訓練完成的路面異常監測模型，得到實時路面視頻信息中各幀路面圖像的異常監測結果；

其中，所述路面異常監測模型包括主干網絡、特征融合網絡和輸出端；所述主干網絡用于對各幀路面圖像進行多尺度特征提取；所述特征融合網絡用于融合所述多尺度特征；所述輸出端用于通過檢測候選框與目標真實框之間的差值來確定特征融合后的路面圖像中候選框顯示閾值，再從確定的候選框中保留設定置信度的候選框并同時輸出對應異常類別。

8.如權利要求7所述的路面異常情況監測系統，其特征在于，所述主干網絡使用跨階段局部網絡對各幀路面圖像進行特征提取；

或所述特征融合網絡為特征金字塔網絡；

或在所述輸出端中，利用加入CIOU Loss損失函數的nms非極大值抑制算法對特征融合后的路面圖像進行處理，其中，CIOU Loss損失函數用于檢測候選框與目標真實框之間的差值來確定特征融合后的路面圖像中候選框顯示閾值。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-6中任一項所述的路面異常情況監測方法中的步驟。

10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-6中任一項所述的路面異常情況監測方法中的步驟。