[發明專利]一種激光雷達與相機融合的檢測方法及裝置

在審

• 申請號: 202210709758.7
• 申請日: 2022-06-22
• 公開（公告）號: CN114937255A
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 董振鵬;湯凱明;蘇治國
• 申請（專利權）人: 北京經緯恒潤科技股份有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06N3/04;G06N3/08;G06V10/25;G06V10/80;G06V10/82;G06V20/10
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 陳穎

1.一種激光雷達與相機融合的檢測方法，其特征在于，包括：

獲取時間同步的激光雷達點云和相機圖像，以及激光雷達坐標系到相機圖像像素坐標系的標定參數，所述相機圖像像素坐標系為所述相機圖像所在的像素坐標系；

對所述激光雷達點云進行點云檢測，得到包含類別和航向角的道路目標初步檢測結果；

將所述道路目標初步檢測結果通過所述標定參數投影到所述相機圖像像素坐標系中，得到所述相機圖像像素坐標系下雷達檢測目標的2D邊界框；

結合所述雷達檢測目標的2D邊界框對所述相機圖像進行目標檢測，得到所述相機圖像像素坐標系下相機檢測目標的2D邊界框；

利用所述相機檢測目標的2D邊界框對所述雷達檢測目標的2D邊界框進行匹配并修正類別，得到修正后的激光雷達點云三維檢測道路目標；

基于所述激光雷達點云對應的深度圖，將交通目標在所述相機檢測目標的2D邊界框內的深度點進行反向投影，得到交通目標三維信息；

將所述激光雷達點云三維檢測道路目標和所述交通目標三維信息進行合并，得到激光雷達和相機融合的目標檢測結果。

2.根據權利要求1所述檢測方法，其特征在于，所述對所述激光雷達點云進行點云檢測，得到包含類別和航向角的道路目標初步檢測結果，包括：

對所述激光雷達點云進行地面點分割得到非地面點云；

對所述非地面點云進行聚類，得到每簇點云的坐標位置與尺寸信息；

將每簇點云的所述坐標位置與所述尺寸信息降采樣后輸入至PointNet神經網絡，得到所述道路目標初步檢測結果。

3.根據權利要求1所述檢測方法，其特征在于，所述將所述道路目標初步檢測結果通過所述標定參數投影到所述相機像素坐標系下，得到所述相機圖像像素坐標系下雷達檢測目標的2D邊界框，包括：

將所述道路目標初步檢測結果通過所述標定參數投影到所述相機圖像像素坐標系中，得到雷達檢測目標的各個初始2D邊界框；

計算各個所述初始2D邊界框的平均深度；

計算所有的所述初始2D邊界框中任意兩個初始2D邊界框的交并比；

若所有的所述交并比中存在大于設定閾值的目標交并比，則將所述目標交并比對應的兩個初始2D邊界框中，平均深度較大的初始2D邊界框濾除，得到所述相機圖像像素坐標系下的非遮擋2D邊界框，并將所述非遮擋2D邊界框確定為所述雷達檢測目標的2D邊界框。

4.根據權利要求3所述檢測方法，其特征在于，結合所述雷達檢測目標的2D邊界框所述對所述相機圖像進行目標檢測，得到所述相機圖像像素坐標系下相機檢測目標的2D邊界框，包括：

結合所述雷達檢測目標的2D邊界框對所述相機圖像使用區域候選網絡進行目標檢測，得到相機圖像檢測提議框；

將所述相機圖像檢測提議框以及所述非遮擋2D邊界框輸入至感興趣區域網絡進行分類與回歸，則到所述相機檢測目標的2D邊界框。

5.根據權利要求1所述檢測方法，其特征在于，所述利用所述相機檢測目標的2D邊界框對所述雷達檢測目標的2D邊界框進行匹配并修正類別，得到修正后的激光雷達點云三維檢測道路目標，包括：

計算所述相機檢測目標的2D邊界框和所述雷達檢測目標的2D邊界框的交并比；

基于所述交并比利用匈牙利匹配算法進行最優匹配，對匹配上的點云三維檢測目標利用概率融合算法對道路目標類別進行概率融合，對未匹配上的點云三維檢測目標增大障礙物類別的概率，得到修正后的所述激光雷達點云三維檢測道路目標。

6.根據權利要求1所述檢測方法，其特征在于，所述基于所述激光雷達點云對應的深度圖，將交通目標在所述相機檢測目標的2D邊界框內的深度點進行反向投影，得到交通目標三維信息，包括：

基于所述激光雷達點云對應的深度圖和所述標定參數，將所述交通目標在所述相機檢測目標的2D邊界框內的深度點進行反向投影，得到原始交通目標三維信息；

判斷所述原始交通三維信息中是否具有不符合預設位置要求的目標三維點；

如果是，則將所述目標三維點濾除，根據剩余三維點得到所述交通目標三維信息。