[發明專利]基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓方法

有效

• 申請號: 202211115632.3
• 申請日: 2022-09-14
• 公開（公告）號: CN115546749B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 尹智帥;焦鈺軍;彭陸亞靜;胡仁澤;何鎮豪
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/82;G06V10/762;G06N3/08;G06N3/0464;G01S17/931;G01S17/88
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 許美紅

本發明公開了一種基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓方法，包括以下步驟：首先基于YOLOv5完成基于相機的路面坑洼檢測，將激光雷達點云進行預處理和歐式聚類識別后獲得3D檢測框，通過坐標轉換將3D檢測框和圖像目標檢測結果的對應。然后將3D檢測框和2D檢測框進行匹配，將大于一定閾值目標進行融合，獲得坑洼區域的坐標、大小、深度等數據發送至下游清掃路徑規劃模塊。針對不同的坑洼區域，基于有限狀態機模型完成清掃車決策，判斷是否按照原路徑進入坑洼區清掃增加清掃時間；或者針對較深坑洼區域生成新的路徑實現換道避讓以防托底。本發明有效解決了清掃車在坑洼路面上清掃不徹底及托底的問題，提高了清掃車的工作效率。

技術領域

本發明涉及無人駕駛中的環境感知領域，尤其涉及一種基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓方法。

背景技術

近年來，隨著汽車智能化的不斷發展以及市場需求的不斷擴大，無人駕駛技術在各行各業都有所應用，越來越多的科研人員進行無人駕駛技術的研究。無人駕駛環衛清掃車的誕生和應用便是一個典例。但在工作過程中，路面往往存在坑洼情況，清掃車能否對坑洼區域清掃干凈，以及能否在出現較深坑洼情況下有效進行避讓是目前有待解決的問題。

而基于攝像頭或激光雷達的目標檢測的發展讓問題的解決成為可能。通過攝像頭、激光雷達或者兩者多模態融合的檢測可以實現對道路坑洼區域的實時檢測。并通過對坑洼區域的深度參數值的計算和判斷來控制清掃車的清掃或避讓操作。

發明內容

本發明主要目的實現基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓，提高清掃車的工作效率。

本發明所采用的技術方案是：

提供一種基于攝像機和激光雷達的路面坑洼檢測及清掃和避讓方法，包括以下步驟：

S1、獲得行駛路面的攝像機二維圖像并傳送至利用路面數據集訓練好的YOLO?v5模型進行目標檢測，初步識別出圖像中的路面坑洼區域，得到2D預測框；

S2、獲取行駛路面的激光雷達點云數據，并對點云數據進行體素化下采樣，去除離散點，剔除地平面的點云數據，最后進行歐式聚類，得到每個坑洼區域的3D邊界框和中心點參數(x,y,z,w,h,l)，其中(x,y,z)為中心點的坐標，w,h,l相應為3D邊界框的寬、高、長；

S3、將點云數據的3D邊界框投影至二維圖像中，與2D預測框進行IoU值計算，確定每個中心點數據對應的坑洼區域；

S4、對每個坑洼區域的點云數據進行遍歷，并依據Z軸大小進行排序得到最高點和最低點坐標；計算每個坑洼區域中點云間最大Z軸間距，當點云間最大Z軸距大于某一閾值時，定義為坑洼區域；反之則不為坑洼區域，并將其二維圖像中的2D預測框剔除；

S5、以每個坑洼區域的最大深度為基礎，對深度大小進行判斷；當深度小于一定閾值時，使清掃車駛入并增加相應的清掃時間；當深度高于一定閾值時使清掃車規劃避障路徑并采取避讓操作。

接上述技術方案，步驟S2具體通過RANSAC算法檢測地面，剔除地平面的點云數據。

接上述技術方案，步驟S3中具體將點云數據的3D邊界框Y軸方向的左上角點和右下角點的坐標，投影到二維圖像中并形成2D邊界框，并與2D預測框進行IoU值計算，當IoU值大于一定閾值時，則每個3D邊界框的點云便與對應的坑洼區域相匹配。

接上述技術方案，步驟S5中避障路徑規劃時先判斷當前車道是否存在深坑洼，若不存在則跟蹤路線不變；反之則判斷另一側車道在預設范圍內是否存在深坑洼，若存在，則停止車輛。

接上述技術方案，若不存在深坑洼，則首先使當前跟蹤路線所有點清零，隨后利用本車當前坐標與另一側預錄車道最近點坐標，生成變道路線及其點集，最后將上述點集、另一側車道與變道路線重合點后續點集，載入跟蹤路線，以使車輛沿著更新后跟蹤路線繼續進行純軌跡跟蹤。