[發明專利]一種車載障礙物精確感知方法、系統及存儲介質

在審

• 申請號: 202211616201.5
• 申請日: 2022-12-15
• 公開（公告）號: CN116385997A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 劉建國;李功博;尹智帥;顏伏伍;盧熾華
• 申請（專利權）人: 佛山仙湖實驗室
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/22;G06V10/26;G06V10/62;G06V10/75;G06V10/762
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 葉潔勇

1.一種車載障礙物精確感知方法，其特征在于，包括如下步驟：

通過雙目相機獲得長距圖像和中距圖像，將所述長距圖像輸入至目標檢測模型，得到相機感知結果，所述相機感知結果包括目標障礙物的圖像檢測框和目標障礙物的類別信息；

將所述長距圖像和所述中距圖像輸入至深度立體匹配模型，輸出視差圖，并將所述圖像檢測框投影至所述視差圖中，得到目標障礙物與車輛之間的距離信息以及目標障礙物的方位信息和第一體積信息，將所述距離信息、所述方位信息和所述第一體積信息添加至所述相機感知結果中；

獲取激光雷達的原始點云數據，通過點云地面-非地面分割方法和點云聚類算法處理所述原始點云數據，輸出雷達感知結果，所述雷達感知結果包括目標障礙物的位置信息、第二體積信息和三維檢測框；

融合所述相機感知結果和所述雷達感知結果，得到融合雷達感知結果，當所述距離信息小于預設的距離閾值時，采用所述相機感知結果作為最終的障礙物感知結果；當所述距離信息大于或等于所述距離閾值時，采用所述融合雷達感知結果作為最終的障礙物感知結果；

其中，所述融合雷達感知結果包括所述雷達感知結果和所述目標障礙物的類別信息；

采集車輛的UTM坐標信息，結合所述車輛的UTM坐標信息和所述障礙物感知結果，計算得到目標障礙物的UTM坐標信息，并根據所述目標障礙物的UTM坐標信息，計算得到當前時刻目標障礙物的瞬時速度和運動方向；

通過卡爾曼濾波優化所述目標障礙物的瞬時速度，得到目標障礙物的穩定速度信息，并根據所述穩定速度信息利用匈牙利算法更新所述目標障礙物的障礙狀態，根據所述障礙狀態控制車輛行駛。

2.根據權利要求1所述的一種車載障礙物精確感知方法，其特征在于，在所述通過雙目相機獲得長距圖像和中距圖像之前，包括：

采集標定板的位姿圖像，所述標定板由若干個二維方格構成，提取所述位姿圖像的角點像素坐標；

通過單應矩陣對所述角點像素坐標進行計算，得到所述雙目相機的內參數的初始值和外參數的初始值；

通過非線性最小二乘法估計所述雙目相機的畸變系數的初始值；

通過極大似然估計法對所述內參數的初始值、所述外參數的初始值和所述畸變系數的初始值進行優化，得到所述雙目相機最終的內參數、外參數和畸變系數。

3.根據權利要求1所述的一種車載障礙物精確感知方法，其特征在于，所述將所述長距圖像和所述中距圖像輸入至深度立體匹配模型，得到視差圖，包括：

對所述長距圖像和所述中距圖像進行立體校正；

將所述長距圖像和所述中距圖像輸入至深度立體匹配模型，獲得視差圖；

其中，所述深度立體匹配模型為基于AANET的神經網絡模型；

所述對所述深度立體匹配模型進行立體校正，包括：

獲取所述長距圖像和所述中距圖像的原始像素點，通過所述雙目相機的內參數將所述長距圖像和所述中距圖像的像素坐標系轉換為相機坐標系；

計算所述長距圖像和所述中距圖像的畸變量，得到在所述相機坐標系下的所述長距圖像和所述中距圖像的畸變位置，根據所述畸變位置對所述長距圖像和所述中距圖像進行去畸變處理；

將所述相機坐標系轉換為所述像素坐標系，通過所述原始像素點對位于所述像素坐標系下的所述長距圖像和所述中距圖像的像素點進行重新插值；

調整所述中距圖像和所述長距圖像的尺寸，使得所述中距圖像的尺寸和所述長距圖像的尺寸一致。

4.根據權利要求3所述的一種車載障礙物精確感知方法，其特征在于，所述將所述圖像檢測框投影至所述視差圖中，得到目標障礙物與車輛之間的距離信息以及目標障礙物的方位信息和第一體積信息，包括：

將所述圖像檢測框的中心點位置作為所述目標障礙物的參考點，計算所述目標障礙物的參考點在像素坐標系下的坐標，并將所述圖像檢測框投影至所述視差圖中，獲得所述參考點在所述視差圖中的投影點坐標，通過所述投影點坐標得到所述目標障礙物與車輛之間的距離；

根據所述雙目相機的內參數，將所述投影點坐標從所述像素坐標系轉換至世界坐標系下，得到所述目標障礙物相對于車輛的方位信息；

根據所述長距圖像和所述中距圖像，結合所述距離信息和所述方位信息，推理得到所述目標障礙物的第一體積信息。