[發明專利]一種激光與相機融合的地圖構建方法

在審

• 申請號: 202110911529.9
• 申請日: 2021-08-10
• 公開（公告）號: CN113724387A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 張文安;金錦峰;付明磊;楊旭升;史秀紡;季華;陳戧;王其超
• 申請（專利權）人: 浙江工業大學;杭州鴻泉物聯網技術股份有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/80;G06T7/10
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

1.激光與相機融合的地圖構建方法，包括以下步驟：

步驟1：獲取固定于車身上方激光雷達采集到的車身周圍環境的三維點云數據P和固定于車身前方相機采集到的車輛周圍環境的圖片數據I；

步驟2：根據激光點云數據P計算獲取位姿E；

步驟3：同時，基于獲得的點云數據P進行濾波，獲取無遮擋、分布規則的點云數據P’；

步驟4：對攝像機捕獲的圖像I進行語義分割，去除原始圖像中的運動對象和動態特征點，得到具有語義信息的圖像I’；

步驟5：將點云P’和來自攝像機的語義分割結果I’進行融合，生成具有語義信息的單幀點云C；

步驟6：經過特征點的提取和匹配后，消除不匹配的特征點對，得到消除不匹配對的點云C’；

步驟7：根據小車姿態E將點云C’與現有地圖M進行疊加，獲得實時更新的地圖M’，最終生成由激光雷達與相機融合的語義地圖，為后續無人車的定位導航避障提供了方便。

2.如權利要求1所述的激光與相機融合的地圖構建方法，其特征在于：步驟3中使用點云濾波方法對輸入的點云進行預處理，獲取無遮擋、分布規則的點云數據P’，具體包括以下步驟：

步驟3.1：去除離群點(由遮擋問題造成)：對查詢點的鄰域進行統計分析，計算它到近鄰點的距離。距離分布特性符合高斯分布N(u,σ²)，u和σ²決定一個標準范圍。距離在標準范圍之外的點為離群點，從數據中去除；

步驟3.2：簡化海量點云：構造m×n×l的三維體素柵格，將點云數據填充至對應的小體素柵格，用每個體素內的所有點的重心替代該體素的其他點，減少數據量；

步驟3.3：處理點云分布不規則：指定坐標范圍，剔除遠處的、稀疏的部分，保留密集的、包含絕大部分特征的點云。

3.如權利要求1所述的激光與相機融合的地圖構建方法，其特征在于：步驟4中對攝像機捕獲的圖像I進行語義分割，去除原始圖像中的運動對象和動態特征點，得到具有語義信息的圖像I’，具體包括以下步驟：

步驟4.1：通過訓練網絡，生成能夠準確識別行人和車輛這類動態對象的語義分割模型；

步驟4.2：通過網絡生成的語義分割模型，對攝像機捕獲的圖像I進行語義分割，獲得具有語義信息的圖像I₁；

步驟4.3：為具有語義信息的點云圖像中的動態對象添加掩膜，對語義掩膜圖像和原始圖像對應的每個像素值進行二進制與運算，得到處理后的動態物體剔除圖像I’。

4.如權利要求1所述的激光與相機融合的地圖構建方法，其特征在于：步驟6經過特征點的提取和匹配后，消除不匹配的特征點對，得到消除不匹配對的點云C’，具體包括以下步驟：

步驟6.1：設定最大迭代次數MAX，每次迭代隨機抽取Y個特征點對，用于后續計算。同時，為每次迭代提取的Y個特征點對計算最佳距離與次最佳距離的比值和：

其中，X_best為最佳距離，X_second為次最佳距離；

步驟6.2：將最優特征點對和次優特征點對分別放置在最后兩次迭代中；

步驟6.3：動態調整迭代次數。在保證迭代次數有序減少的同時，下一輪計算的特征點對會更好，得到的模型會更準確。

5.如權利要求4所述的激光與相機融合的地圖構建方法，其特征在于：步驟6.3通過動態調整迭代次數來減少計算時間，具體包括以下步驟：

步驟6.3.1：引入統計量a，a＝(該模型下檢測為局部點的特征點對的數量/整體特征點對的數量)²，將統計閾值設置為Th；

步驟6.3.2：當統計a小于Th時，引入公式(1)：

當統計a大于Th時，引入公式(2)：

nnum＝log((1-a^N)³) (2)

步驟6.3.3：nnum≥0或num≤nnum*MAX迭代次數不會改變，迭代仍按順序進行。相反，最大迭代次數更新為公式(3)：

其中，num＝log(1-p)，p為學習率，如果當前迭代的分數超過閾值，或者如果它已經到達最終迭代，則選擇具有最高分數的模型來消除不匹配。

6.如權利要求1-5之一所述的激光與相機融合的地圖構建方法，其特征在于：步驟6.1中的特征點個數Y取10，步驟6.3.1中的統計閾值Th取0.8，步驟6.3.3中的學習率p為取0.01。