[發(fā)明專利]一種基于激光雷達與攝像頭融合的三維目標檢測方法在審
| 申請?zhí)枺?/td> | 202011201913.1 | 申請日： | 2020-11-02 |
| 公開（公告）號： | CN112288667A | 公開（公告）日： | 2021-01-29 |
| 發(fā)明（設(shè)計）人： | 劉甫;張輝;聶暢 | 申請（專利權(quán)）人： | 上海智駕汽車科技有限公司 |
| 主分類號： | G06T5/50 | 分類號： | G06T5/50;G06N3/04 |
| 代理公司： | 暫無信息 | 代理人： | 暫無信息 |
| 地址： | 201210 上海市浦*** | 國省代碼： | 上海;31 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 激光雷達 攝像頭 融合 三維 目標 檢測 方法 | ||
1.一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：具體包括以下步驟，
步驟1：將攝像頭采集的圖像(h,w,3)輸入圖像處理網(wǎng)絡，以得到與初始圖像大小相同的圖像特征圖(h,w,nchannel)；所述圖像(h,w,3)表示長為w像素，寬為h像素，每個像素擁有RGB3個通道；所述圖像特征圖(h,w,nchannel)表示長為w像素，寬為h像素，每個像素擁有nchannel個通道；
步驟2：將激光雷達獲取的三維點云(n,4)通過聯(lián)合標定后的坐標變換矩陣，坐標變換到圖像坐標系進行投影，每個在圖像大小范圍內(nèi)的點云都獲取對應像素點的特征，最終得到在圖像范圍內(nèi)的點云，并且獲取了對應的圖像特征(nreduce,4+nchannel)；
步驟3：將融合的點云圖像數(shù)據(jù)(nreduce,4+nchannel)按照點云的(x,y,z)分布進行體素網(wǎng)格化，得到(L,W,H,N,4+nchannel)的體素化數(shù)據(jù)；
步驟4：對體素化數(shù)據(jù)(L,W,H,N,4+nchannel)進行篩選，去掉空的網(wǎng)格，將長寬高按秩序排列成一維，得到(K,N,4+nchannel)的體素化數(shù)據(jù)；
步驟5：將處理后的體素化數(shù)據(jù)(K,N,4+nchannel)輸入數(shù)據(jù)編碼網(wǎng)絡，得到(L,W,C)的特征圖；
步驟6：將特征圖(L,W,C)通過單階段的目標檢測網(wǎng)絡，最后輸出層直接輸出三維目標的(x,y,z,ry,l,w,h,s)。
2.根據(jù)權(quán)利要求1所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟1中的圖像處理網(wǎng)絡為卷積神經(jīng)網(wǎng)絡，可使用金字塔結(jié)構(gòu)的特征提取結(jié)構(gòu)。
3.根據(jù)權(quán)利要求2所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟2中的三維點云(n,4)表示一幀獲取到n個點云，每個點云有(x,y,z,r)四個通道，其中(x,y,z)為點云的三維坐標，r為點云的反射率；圖像特征(nreduce,4+nchannel)表示nreduce個在圖像范圍內(nèi)的點，4+nchannel表示點云原有的4個(x,y,z,r)特性再拼接上對應點的圖像特征nchannel。
4.根據(jù)權(quán)利要求3所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟3中的體素化后的數(shù)據(jù)(L,W,H,N,4+nchannel)表示長邊L個格子，寬邊W個格子，高度H個格子，將激光雷達坐標系有效區(qū)域進行均分，每個格子內(nèi)N個點云圖像數(shù)據(jù)，每個數(shù)據(jù)4+nchannel個特征通道，并且N有最大限值，若格子內(nèi)超過N個點，則根據(jù)點的xyz坐標，按照距離原點的距離進行升序排列，取前N個點。
5.根據(jù)權(quán)利要求4所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟4中篩選后的體素化數(shù)據(jù)(K,N,4+nchannel)表示K個非空格子，每個格子N個數(shù)據(jù)點，每個數(shù)據(jù)4+nchannel個特征通道。
6.根據(jù)權(quán)利要求5所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟5中的數(shù)據(jù)編碼網(wǎng)絡包括全連接層、VoxelNet；所述數(shù)據(jù)編碼網(wǎng)絡在每個格子提取出一個點表示這個格子，一個高度方向選出一個格子表示這個高度，即得到L長、W寬的特征圖大小，C為特征圖特征數(shù)，通過升維擴充特征。
7.根據(jù)權(quán)利要求6所述的一種基于激光雷達與攝像頭融合的三維目標檢測方法，其特征在于：所述步驟6中的單階段的目標檢測網(wǎng)絡包括以卷積神經(jīng)網(wǎng)絡為主體的單階段錨點檢測網(wǎng)絡；三維目標的(x,y,z,ry,l,w,h,s)表示目標的(x,y,z)坐標，其朝向與原點坐標系x軸的夾角ry，目標的長寬高(l,w,h)，以及置信分數(shù)s。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于上海智駕汽車科技有限公司，未經(jīng)上海智駕汽車科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011201913.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
