[發明專利]一種基于車路協同的3D目標檢測方法

在審

• 申請號: 202211344029.2
• 申請日: 2022-10-31
• 公開（公告）號: CN115641556A
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 王源隆;江恒濤;陳觀迎;趙萬忠;王春燕;周冠
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06N3/0464;G06N3/08;G06V10/25;G06V10/44;G06V10/77;G06V10/80;G06V10/82
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 劉輝

1.一種基于車路協同的3D目標檢測方法，其特征在于，包含以下步驟：

步驟1)，獲取車載攝像頭的實時前方道路的圖像數據作為車端圖像數據；

步驟2)，獲取交通路口路端攝像頭拍攝的路口實時圖像數據作為路端圖像數據；

步驟3)，將車端圖像數據、路端圖像數據統一到同一時間坐標系和同一空間坐標系中，獲得統一后的車端圖像數據和路端圖像數據；

步驟4)，將統一后的車端圖像數據和路端圖像數據分別輸入預訓練好的特征提取網絡，得到車端圖像數據的特征圖F1、車端圖像數據的特征圖F2；

步驟5)，將特征圖F1、F2中的圖像特征投影到同一個3D體素體積中，對于每個體素，通過元素平均來匯總特征圖F1、F2中的圖像特征；

步驟6)，對投影后的3D體素體積進行3D特征獲取，并將其映射為二維張量；

步驟7)，將獲得的二維張量輸入3D目標檢測網絡，回歸出準確的3D目標框信息及類別信息。

2.根據權利要求1所述的基于車路協同的3D目標檢測方法，其特征在于，所述步驟3)中統一到同一時間坐標系時通過GPS授時同步，統一到同一空間坐標系時以圖像坐標系、像素坐標系和世界坐標系為中介實現車端圖像數據、路端圖像數據之間的配準。

3.根據權利要求1所述的基于車路協同的3D目標檢測方法，其特征在于，所述步驟4)中的特征提取網絡包含ResNet-50模型和FPN模型，其中，ResNet-50模型用于進行初步特征提取，FPN模型用于進行多尺度特征融合。

4.根據權利要求1所述的基于車路協同的3D目標檢測方法，其特征在于，所述步驟6)中通過編碼器-解碼器體系結構的編碼器部分對投影后的3D體素體積進行3D特征獲取并將其映射為二維張量。

5.根據權利要求1所述的基于車路協同的3D目標檢測方法，其特征在于，所述步驟7)中的3D目標檢測網絡采取基于SSD模型的3D目標檢測網絡，生成的3D目標框被參數化為(x，y，z，w，h，l，θ)，其中，(x，y，z)是3D目標框中心的坐標，w、h、l分別是3D目標框寬度、高度、長度，θ是繞3D目標框z軸的旋轉角度。

6.根據權利要求1所述的基于車路協同的3D目標檢測方法，其特征在于，步驟6)中3D目標檢測網絡所采取的損失函數L為：

式中，位置損失L_loc為平滑平均絕對誤差，分類損失L_cls為焦點損失，方向損失L_dir為交叉熵損失，n_pos是正錨的數量，λ_loc＝2.6，λ_cls＝0.8，λ_dir＝0.3。