[發明專利]基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓方法

有效

• 申請號: 202211115632.3
• 申請日: 2022-09-14
• 公開（公告）號: CN115546749B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 尹智帥;焦鈺軍;彭陸亞靜;胡仁澤;何鎮豪
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/82;G06V10/762;G06N3/08;G06N3/0464;G01S17/931;G01S17/88
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 許美紅

1.一種基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓方法，其特征在于，包括以下步驟：

S1、獲得行駛路面的攝像機二維圖像并傳送至利用路面數據集訓練好的YOLO?v5模型進行目標檢測，初步識別出圖像中的路面坑洼區域，得到2D預測框；

S2、獲取行駛路面的激光雷達點云數據，并對點云數據進行體素化下采樣，去除離散點，剔除地平面的點云數據，最后進行歐式聚類，得到每個坑洼區域的3D邊界框和中心點參數（x,y,z,w,h,l），其中（x,y,z）為中心點的坐標，w,h,l相應為3D邊界框的寬、高、長；

S3、將點云數據的3D邊界框Y軸方向的左上角點和右下角點的坐標，投影到二維圖像中并形成2D邊界框，并與2D預測框進行IoU值計算，當IoU值大于一定閾值時，則每個3D邊界框的點云便與對應的坑洼區域相匹配；

S4、對每個坑洼區域的點云數據進行遍歷，并依據Z軸大小進行排序得到最高點和最低點坐標；計算每個坑洼區域中點云間最大Z軸間距，當點云間最大Z軸距大于某一閾值時，定義為坑洼區域；反之則不為坑洼區域，并將其二維圖像中的2D預測框剔除；

S5、以每個坑洼區域的最大深度為基礎，對深度大小進行判斷；當深度小于一定閾值時，使清掃車駛入并增加相應的清掃時間；當深度高于一定閾值時使清掃車規劃避障路徑并采取避讓操作。

2.根據權利要求1所述的基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓方法，其特征在于，步驟S2具體通過RANSAC算法檢測地面，剔除地平面的點云數據。

3.根據權利要求1所述的基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓方法，其特征在于，步驟S5中避障路徑規劃時先判斷當前車道是否存在深坑洼，若不存在則跟蹤路線不變；反之則判斷另一側車道在預設范圍內是否存在深坑洼，若存在，則停止車輛。

4.根據權利要求3所述的基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓方法，其特征在于，若不存在深坑洼，則首先使當前跟蹤路線所有點清零，隨后利用本車當前坐標與另一側預錄車道最近點坐標，生成變道路線及其點集，最后將上述點集、另一側車道與變道路線重合點后續點集，載入跟蹤路線，以使車輛沿著更新后跟蹤路線繼續進行純軌跡跟蹤。

5.一種基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓系統，其特征在于，包括：

二維圖像坑洼初步識別模塊，用于獲得行駛路面的攝像機二維圖像并傳送至利用路面數據集訓練好的YOLO?v5模型進行目標檢測，初步識別出圖像中的路面坑洼區域，得到2D預測框；

點云數據坑洼區域具體識別模塊，用于獲取行駛路面的激光雷達點云數據，并對點云數據進行體素化下采樣，去除離散點，剔除地平面的點云數據，最后進行歐式聚類，得到每個坑洼區域的3D邊界框和中心點參數（x,y,z,w,h,l），其中（x,y,z）為中心點的坐標，w,h,l相應為3D邊界框的寬、高、長；

融合模塊，用于將點云數據的3D邊界框Y軸方向的左上角點和右下角點的坐標，投影到二維圖像中并形成2D邊界框，并與2D預測框進行IoU值計算，當IoU值大于一定閾值時，則每個3D邊界框的點云便與對應的坑洼區域相匹配；

坑洼區域具體識別模塊，用于對每個坑洼區域的點云數據進行遍歷，并依據Z軸大小進行排序得到最高點和最低點坐標；計算每個坑洼區域中點云間最大Z軸間距，當點云間最大Z軸距大于某一閾值時，定義為坑洼區域；反之則不為坑洼區域，并將其二維圖像中的2D預測框剔除；

路徑規劃模塊，用于以每個坑洼區域的最大深度為基礎，對深度大小進行判斷；當深度小于一定閾值時，使清掃車駛入并增加相應的清掃時間；當深度高于一定閾值時使清掃車規劃避障路徑并采取避讓操作。

6.根據權利要求5所述的基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓系統，其特征在于，點云數據坑洼區域具體識別模塊具體通過RANSAC算法檢測地面，剔除地平面的點云數據。