[發明專利]用于自動駕駛的障礙物檢測、標記方法、設備及存儲介質

有效

• 申請號: 202011073283.4
• 申請日: 2020-10-09
• 公開（公告）號: CN112419494B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 曾一鳴;董遠強
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G01S7/48;G01S17/86;G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 徐立

1.一種用于自動駕駛的障礙物檢測方法，其特征在于，所述方法包括：

獲取攝像機采集的環境圖像，以及激光雷達采集的激光點云；

通過對所述環境圖像進行三維重建，構建所述環境圖像對應的偽點云；

基于所述偽點云構建目標點云權重矩陣，所述目標點云權重矩陣用于表征基于點云中相鄰點進行點重建時的重建權重；將所述激光點云和所述偽點云中的點進行合并，得到合并點云；根據所述目標點云權重矩陣對所述合并點云中的點進行調整，得到所述目標點云，所述目標點云的數據量不小于所述激光點云的數據量；

將所述目標點云輸入障礙物檢測器，得到所述障礙物檢測器輸出的障礙物檢測結果，所述障礙物檢測器是基于點云編碼的檢測器。

2.根據權利要求1所述的方法，其特征在于，所述基于所述偽點云構建目標點云權重矩陣，包括：

根據所述偽點云中點之間的相鄰關系，構建初始點云權重矩陣；

通過所述初始點云權重矩陣對所述偽點云中的點進行點重建，得到重建偽點云；

通過最小化所述重建偽點云和所述偽點云中點之間的距離，對所述初始點云權重矩陣進行調整，得到所述目標點云權重矩陣。

3.根據權利要求1所述的方法，其特征在于，所述將所述激光點云和所述偽點云中的點進行合并，得到合并點云，包括：

將所述激光點云和所述偽點云投影至圖像坐標系；

若所述激光點云中點的投影與所述偽點云中點的投影在所述圖像坐標系中重合，則從所述偽點云中刪除重合的點；

將所述激光點云中的點與所述偽點云中的剩余點進行合并，得到所述合并點云。

4.根據權利要求1所述的方法，其特征在于，所述根據所述目標點云權重矩陣對所述合并點云中的點進行調整，得到所述目標點云，包括：

通過所述目標點云權重矩陣對所述合并點云中的點進行點重建，得到重建合并點云；

通過最小化所述合并點云與所述重建合并點云中點之間的距離，對所述合并點云中的點進行調整，得到所述目標點云。

5.根據權利要求1至4任一所述的方法，其特征在于，所述獲取攝像機采集的環境圖像之后，所述方法還包括：

對所述環境圖像進行語義分割，得到所述環境圖像中掩模區域對應的圖像語義信息，所述圖像語義信息用于指示掩模區域對應障礙物的障礙物類型；

所述將所述目標點云輸入障礙物檢測器，得到所述障礙物檢測器輸出的障礙物檢測結果之前，所述方法還包括：

將所述圖像語義信息融合至所述目標點云。

6.根據權利要求5所述的方法，其特征在于，所述將所述圖像語義信息融合至所述目標點云，包括

將所述目標點云投影至圖像坐標系；

確定所述目標點云中，投影位置位于所述圖像語義信息對應掩模區域內的目標點；

將所述圖像語義信息添加至所述目標點對應的點特征中。

7.根據權利要求1至4任一所述的方法，其特征在于，通過對所述環境圖像進行三維重建，構建所述環境圖像對應的偽點云，包括：

對所述環境圖像中的像素點進行深度估計，得到所述環境圖像對應的深度圖；

根據所述深度圖中各個像素點的深度值，將所述環境圖像中的像素點投影至三維坐標系，得到所述環境圖像對應的所述偽點云。

8.根據權利要求7所述的方法，其特征在于，所述對所述環境圖像中的像素點進行深度估計，得到所述環境圖像對應的深度圖，包括：

響應于所述環境圖像為雙目圖像，根據左眼環境圖像和右眼環境圖像確定各個像素點的視差；基于所述視差確定各個像素點的深度值，得到所述環境圖像對應的所述深度圖；

或，

響應于所述環境圖像為單目圖像，通過單目圖像深度估計算法確定所述環境圖像中各個像素點的深度值，并生成所述環境圖像對應的所述深度圖。