[發明專利]用于路面平坦度檢測的模型構建方法、系統和智能終端

在審

• 申請號: 202210243771.8
• 申請日: 2022-03-10
• 公開（公告）號: CN114677659A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 劉超;王超;高揚;何喜軍
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06K9/62;G06N3/04;G06N3/08;G06V10/25;G06V10/774;G06V10/82
• 代理公司: 北京遠立知識產權代理事務所(普通合伙) 11502
• 代理人: 李海燕

1.一種用于路面平坦度檢測的模型構建方法，其特征在于，所述方法包括：

獲取目標場景的多幀原始圖像，在所述原始圖像中提取RGB圖像，并將所述原始圖像生成深度圖；

將所述RGB圖像和所述深度圖生成數據集，并將所述數據集按預設比例劃分為訓練集、驗證集和測試集，并對各數據集進行標注；

基于預存的分類檢測網絡模型，將RGB－D數據分別輸入訓練集和驗證集，通過模型訓練得到路面平坦度檢測模型。

2.根據權利要求1所述的模型構建方法，其特征在于，獲取目標場景的多幀原始圖像，在所述原始圖像中提取RGB圖像，并將所述原始圖像生成深度圖，具體包括：

利用雙目相機采集雙目道路圖像，并將雙目道路圖像作為原始圖像；

根據彩色三通道原理在所述原始圖像中提取RGB圖像；

根據立體匹配和三維重建方法將所述原始圖像生成深度圖，所述深度圖與所述RGB圖像的尺寸大小相同。

3.根據權利要求1所述的模型構建方法，其特征在于，將所述RGB圖像和所述深度圖生成數據集，并將所述數據集按預設比例劃分為訓練集、驗證集和測試集，具體包括：

將左目RGB圖像和深度圖生成數據集；

按照3：1：1的比例將所述數據集劃分為訓練集、驗證集和測試集。

4.根據權利要求3所述的模型構建方法，其特征在于，對各數據集進行標注，具體包括：

對左目圖像的訓練集和驗證集進行標注，標注類別包括縱向裂縫、橫向裂縫、網狀裂縫、坑槽、減速帶、井蓋中的至少一者。

5.根據權利要求4所述的模型構建方法，其特征在于，將RGB－D數據分別輸入訓練集和驗證集，具體包括：

將RGB圖像統一縮放至同一尺寸，并自適應地為RGB圖像及視差圖填充黑邊后得到特征圖，將特征圖輸入到訓練集和驗證集中進行訓練。

6.根據權利要求5所述的模型構建方法，其特征在于，所述分類檢測網絡模型的輸出端采用CIoU＿Loss作為邊界框的損失函數：

其中，A和B分別為預測邊界框和真實標注框的面積，|A∩B|表示兩框交集的面積，|A∪B|表示兩框并集的面積，IoU即為兩框面積的交并比。D1為兩框中心點之間的歐氏距離的平方，D2為剛好能包含兩框的最小矩形的對角線的長度平方，為權重系數，其中v是衡量長寬比一致性的參數：

上式中，w^gt為真實標注框的寬，h^gt為真實標注框的高；w為目標檢測框的寬，h為目標檢測框的高。CIoU＿Loss函數在IoU的基礎上，針對兩框中心點距離、長寬比增加了這兩個懲罰項。

7.根據權利要求6所述的模型構建方法，其特征在于，所述方法還包括后處理步驟，所述后處理步驟包括：

針對多目標框的篩選，采用加權非極大值抑制算法去除部分冗余的邊界框。加權非極大值抑制與傳統的非極大值抑制相比，在執行矩形框剔除的過程中，并未將與真實標注框的IoU大于閾值，且類別相同的預測框直接剔除，而是根據網絡預測的置信度進行加權，得到新的矩形框，把該矩形框作為最終預測的矩形框，再將其他的冗余框剔除。

8.一種用于路面平坦度檢測的模型構建系統，其特征在于，所述系統包括：

數據獲取單元，用于獲取目標場景的多幀原始圖像，在所述原始圖像中提取RGB圖像，并將所述原始圖像生成深度圖；

數據集生成單元，用于將所述RGB圖像和所述深度圖生成數據集，并將所述數據集按預設比例劃分為訓練集、驗證集和測試集，并對各數據集進行標注；

模型輸出單元，用于基于預存的分類檢測網絡模型，將RGB－D數據分別輸入訓練集和驗證集，通過模型訓練得到路面平坦度檢測模型。