[發明專利]一種基于車路協同的3D目標檢測方法

在審

• 申請號: 202211344029.2
• 申請日: 2022-10-31
• 公開（公告）號: CN115641556A
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 王源隆;江恒濤;陳觀迎;趙萬忠;王春燕;周冠
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06N3/0464;G06N3/08;G06V10/25;G06V10/44;G06V10/77;G06V10/80;G06V10/82
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 劉輝

本發明公開了一種基于車路協同的3D目標檢測方法，獲取車端圖像數據、路端圖像數據后，將其統一到同一時間坐標系和同一空間坐標系中，然后分別輸入預訓練好的特征提取網絡，得到車端圖像數據的特征圖F1、車端圖像數據的特征圖F2；接著將特征圖F1、F2中的圖像特征投影到同一個3D體素體積中，對投影后的3D體素體積進行3D特征獲取，并將其映射為二維張量；最后將獲得的二維張量輸入3D目標檢測網絡，回歸出準確的3D目標框信息及類別信息。本發明能夠實現良好的三維重建，有效解決復雜交通路口的車輛互相遮擋等問題所帶來的檢測困難，提高自動駕駛車輛的行駛穩定性和安全性。

技術領域

本發明涉及智能駕駛技術領域，尤其涉及一種基于車路協同的3D目標檢測方法。

背景技術

隨著技術經濟的發展和智能技術的廣泛應用，自動駕駛領域已經成為了目前熱點的研究方向。其中借助計算機視覺和激光點云技術的發展，自動駕駛感知領域近年來取得了快速的發展。

3D目標檢測是自動駕駛感知方向的重要分支。自動駕駛3D目標檢測的主要任務是通過對傳感器輸入數據的處理，輸出目標物體的類別和精確位置，從而幫助車輛躲避障礙規劃路線。因此，能夠準確地對周圍環境進行感知，實現精確可靠的3D目標檢測對于自動駕駛至關重要。

然而，目前自動駕駛領域良好的3D目標檢測往往需要借助車載激光雷達的輔助，這就導致了自動駕駛車輛實際生產成本的大幅度增加，使自動駕駛車輛的市場前景堪憂。同時在城市擁擠的道路上，大量的車載激光雷達極其容易帶來互相的干擾，從而影響自動駕駛車輛的行駛安全性。

考慮到車輛實際行駛過程中，最需要激光雷達輔助3D目標檢測的區域往往發生在車流量大且擁擠的復雜交通環境下，這種情況下往往車輛相互間的遮擋嚴重。在不借助激光雷達輔助的情況下，良好的解決復雜交通環境下的3D目標檢測是急需解決的問題。

同時自動駕駛車輛特別是無人駕駛車輛在復雜交通環境下需要更加快速的決策及控制反映，以此提高自動駕駛車輛的行駛安全性。。

發明內容

本發明所要解決的技術問題是針對背景技術中所涉及到的缺陷，提供一種基于車路協同的3D目標檢測方法，旨在充分利用交通路口的路端攝像頭信息和自動駕駛車輛自身的車端攝像頭信息實現3D目標檢測以及在此基礎上實現快速的決策和控制響應。

本發明為解決上述技術問題采用以下技術方案：

一種基于車路協同的3D目標檢測方法，包含以下步驟：

步驟1)，獲取車載攝像頭的實時前方道路的圖像數據作為車端圖像數據；

步驟2)，獲取交通路口路端攝像頭拍攝的路口實時圖像數據作為路端圖像數據；

步驟3)，將車端圖像數據、路端圖像數據統一到同一時間坐標系和同一空間坐標系中，獲得統一后的車端圖像數據和路端圖像數據；

步驟4)，將統一后的車端圖像數據和路端圖像數據分別輸入預訓練好的特征提取網絡，得到車端圖像數據的特征圖F1、車端圖像數據的特征圖F2；

步驟5)，將特征圖F1、F2中的圖像特征投影到同一個3D體素體積中，對于每個體素，通過元素平均來匯總特征圖F1、F2中的圖像特征；

步驟6)，對投影后的3D體素體積進行3D特征獲取，并將其映射為二維張量；

步驟7)，將獲得的二維張量輸入3D目標檢測網絡，回歸出準確的3D目標框信息及類別信息。

作為本發明一種基于車路協同的3D目標檢測方法進一步的優化方案，所述步驟3)中統一到同一時間坐標系時通過GPS授時同步，統一到同一空間坐標系時以圖像坐標系、像素坐標系和世界坐標系為中介實現車端圖像數據、路端圖像數據之間的配準。