[發明專利]一種基于激光雷達與攝像頭融合的三維目標檢測方法

在審

• 申請號: 202011201913.1
• 申請日: 2020-11-02
• 公開（公告）號: CN112288667A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 劉甫;張輝;聶暢
• 申請（專利權）人: 上海智駕汽車科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：具體包括以下步驟，

步驟1：將攝像頭采集的圖像(h,w,3)輸入圖像處理網絡，以得到與初始圖像大小相同的圖像特征圖(h,w,n_channel)；所述圖像(h,w,3)表示長為w像素，寬為h像素，每個像素擁有RGB3個通道；所述圖像特征圖(h,w,n_channel)表示長為w像素，寬為h像素，每個像素擁有n_channel個通道；

步驟2：將激光雷達獲取的三維點云(n,4)通過聯合標定后的坐標變換矩陣，坐標變換到圖像坐標系進行投影，每個在圖像大小范圍內的點云都獲取對應像素點的特征，最終得到在圖像范圍內的點云，并且獲取了對應的圖像特征(n_reduce,4+n_channel)；

步驟3：將融合的點云圖像數據(n_reduce,4+n_channel)按照點云的(x,y,z)分布進行體素網格化，得到(L,W,H,N,4+n_channel)的體素化數據；

步驟4：對體素化數據(L,W,H,N,4+n_channel)進行篩選，去掉空的網格，將長寬高按秩序排列成一維，得到(K,N,4+n_channel)的體素化數據；

步驟5：將處理后的體素化數據(K,N,4+n_channel)輸入數據編碼網絡，得到(L,W,C)的特征圖；

步驟6：將特征圖(L,W,C)通過單階段的目標檢測網絡，最后輸出層直接輸出三維目標的(x,y,z,ry,l,w,h,s)。

2.根據權利要求1所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟1中的圖像處理網絡為卷積神經網絡，可使用金字塔結構的特征提取結構。

3.根據權利要求2所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟2中的三維點云(n,4)表示一幀獲取到n個點云，每個點云有(x,y,z,r)四個通道，其中(x,y,z)為點云的三維坐標，r為點云的反射率；圖像特征(n_reduce,4+n_channel)表示n_reduce個在圖像范圍內的點，4+n_channel表示點云原有的4個(x,y,z,r)特性再拼接上對應點的圖像特征n_channel。

4.根據權利要求3所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟3中的體素化后的數據(L,W,H,N,4+n_channel)表示長邊L個格子，寬邊W個格子，高度H個格子，將激光雷達坐標系有效區域進行均分，每個格子內N個點云圖像數據，每個數據4+n_channel個特征通道，并且N有最大限值，若格子內超過N個點，則根據點的xyz坐標，按照距離原點的距離進行升序排列，取前N個點。

5.根據權利要求4所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟4中篩選后的體素化數據(K,N,4+n_channel)表示K個非空格子，每個格子N個數據點，每個數據4+n_channel個特征通道。

6.根據權利要求5所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟5中的數據編碼網絡包括全連接層、VoxelNet；所述數據編碼網絡在每個格子提取出一個點表示這個格子，一個高度方向選出一個格子表示這個高度，即得到L長、W寬的特征圖大小，C為特征圖特征數，通過升維擴充特征。

7.根據權利要求6所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟6中的單階段的目標檢測網絡包括以卷積神經網絡為主體的單階段錨點檢測網絡；三維目標的(x,y,z,ry,l,w,h,s)表示目標的(x,y,z)坐標，其朝向與原點坐標系x軸的夾角ry，目標的長寬高(l,w,h)，以及置信分數s。