[發明專利]一種圖像與點云的融合的處理方法、裝置和無人車

在審

• 申請號: 202211039050.1
• 申請日: 2022-08-29
• 公開（公告）號: CN115457358A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 劉明;廖毅雄;王魯佳
• 申請（專利權）人: 深圳一清創新科技有限公司;清水灣（深圳）自動駕駛智能研究中心（有限合伙）
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V20/58;G06V10/44;G06V10/26;G06T7/80;G06N3/04;G01S17/931;G01S17/89
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 江曉蘇

1.一種圖像與點云的融合的處理方法，應用于無人車，所述無人車設有激光雷達和車載攝像頭，其特征在于，所述方法包括：

根據所述無人車當前的位置，通過所述激光雷達獲取原始點云，并通過所述車載攝像頭獲取圖像；

獲取所述圖像中障礙物的檢測信息，所述檢測信息包括檢測框、類別信息和二維輪廓；

將所述障礙物對應的所述原始點云投影到所述圖像中，得到投影點云；

計算所述投影點云與所述二維輪廓的重合度；

當所述重合度大于預設閾值時，根據所述二維輪廓關聯的所述類別信息確定所述障礙物的類別。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述圖像中障礙物的檢測信息，包括：

通過實例分割網絡獲取所述圖像中所述障礙物的檢測信息，其中，所述實例分割網絡由卷積神經網絡加入金字塔網絡FPN和Head網絡構成。

3.根據權利要求2所述的方法，其特征在于，所述通過實例分割網絡獲取所述圖像中所述障礙物的檢測信息，包括：

通過所述金字塔網絡FPN對高層特征圖進行上采樣，并將所述上采樣的結果與低層特征圖進行自頂向下連接，以進行多尺度預測；其中，在進行所述多尺度預測時通過所述Head網絡對障礙物進行實例掩碼預測。

4.根據權利要求1所述的方法，其特征在于，所述獲取所述障礙物對應的所述原始點云在所述圖像中的投影點云，包括：

根據所述原始點云獲取地面點云和非地面點云；

去除所述地面點云，將所述非地面點云保留并作為障礙物點云；

將所述障礙物點云投影到所述圖像中，得到投影點云。

5.根據權利要求4所述的方法，其特征在于，所述將所述障礙物點云投影到所述圖像中，得到投影點云，包括：

根據標定相機的內外參及雷達外參矩陣得到相關參數；

根據所述相關參數確定雷達坐標系和相機坐標系的映射關系；

基于所述映射關系將所述障礙物點云映射到圖像中，獲取所述投影點云。

6.一種圖像與點云的融合的處理裝置，應用于無人車，所述無人車設有激光雷達和車載攝像頭，其特征在于，所述圖像與點云的融合的處理裝置包括：

原始信息獲取模塊，用于根據所述無人車當前的位置，通過所述激光雷達獲取原始點云，并通過所述車載攝像頭獲取圖像；

檢測信息獲取模塊，用于獲取所述圖像中障礙物的檢測信息，所述檢測信息包括檢測框、類別信息和二維輪廓；

投影點云獲取模塊，用于將所述障礙物對應的所述原始點云投影到所述圖像中，得到投影點云；

重合度計算模塊，用于計算所述投影點云與所述二維輪廓的重合度；

語義賦予模塊，用于當所述重合度大于預設閾值時，根據所述二維輪廓關聯的所述類別信息確定所述障礙物的類別。

7.根據權利要求6所述的圖像與點云的融合的處理裝置，其特征在于，所述檢測信息獲取模塊包括：

實例分割單元，通過實例分割網絡獲取所述圖像中所述障礙物的檢測信息，其中，所述實例分割網絡由卷積神經網絡加入金字塔網絡FPN和Head網絡構成。

8.根據權利要求7所述的圖像與點云的融合的處理裝置，其特征在于，所述實例分割單元還用于：

通過所述金字塔網絡FPN對高層特征圖進行上采樣，并將所述上采樣的結果與低層特征圖進行自頂向下連接，以進行多尺度預測；其中，在進行所述多尺度預測時通過所述Head網絡對障礙物進行實例掩碼預測。

9.根據權利要求6所述的圖像與點云的融合的處理裝置，其特征在于，所述投影點云獲取模塊包括：

點云獲取單元，用于根據所述原始點云獲取地面點云和非地面點云；

點云去除單元，用于去除所述地面點云，將所述非地面點云保留并作為障礙物點云；

投影點云獲取單元，用于將所述障礙物點云投影到所述圖像中，得到投影點云。