[發明專利]多模態自適應融合的三維目標檢測方法在審
| 申請號： | 201910837423.1 | 申請日： | 2019-09-05 |
| 公開（公告）號： | CN110543858A | 公開（公告）日： | 2019-12-06 |
| 發明（設計）人： | 袁媛;王琦;劉程堪 | 申請（專利權）人： | 西北工業大學 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00;G06K9/32;G06K9/62 |
| 代理公司： | 61204 西北工業大學專利中心 | 代理人： | 王鮮凱<國際申請>=<國際公布>=<進入 |
| 地址： | 710072 *** | 國省代碼： | 陜西;61 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 檢測 三維目標 特征圖 自適應 算法 裁剪 三維空間 高層語義信息 計算復雜度 解碼器結構 兩階段檢測 車輛目標 全分辨率 網絡結構 細節信息 編碼器 多模態 計算量 檢測率 小物體 融合 截斷 點云 遮擋 | ||
1.一種多模態自適應融合的三維目標檢測方法，其特征在于包括以下步驟：
步驟一、利用特征提取器從鳥瞰圖和圖像中生成特征圖，將LIDAR點云投射到鳥瞰圖，從一個分辨率為0.1m的點云的體素網格中生成六通道鳥瞰圖；將點云裁剪在[-40，40]×[0，70]范圍內，從而包含相機視野內的點；鳥瞰圖的前五個通道是每個柵格單元的最大高度，是由Z軸上[0，2.5]米范圍內五個相同的切片生成；第六個通道信息包含的是每個單元中的密度信息，由確定，其中N是體素網格中的點數；
步驟二、使用圖像輸入和LIDAR輸入兩個特征提取器，將VGG-16網絡通道數減半，并在第四層卷積層裁剪網絡；編碼器將一個M*N*D的圖像或者鳥瞰圖作為輸入，并輸出(M/8)×(M/8)×D的特征圖；設計一個自底向上的解碼器將編碼器輸出的特征圖上采樣恢復至原始輸入尺寸；通過解卷積將兩個編碼器輸出的相關聯的特征圖級聯，然后通過一個3×3卷積將兩者融合；
步驟三、由形心(tx,ty,tz)和軸對齊尺寸(dx,dy,dz)編碼生成錨盒，通過積分圖像將空錨有效去除，最終每一幀產生80-100k個非空錨；給定一個錨，將其分別投影到鳥瞰圖和圖像中獲得兩個感興趣區域；然后用這兩個相關的感興趣區域從每個視圖中提取特征修剪區域；將提取出的特征修剪區域雙線性地調整至3×3，獲得兩個相同長度的特征向量，使用1×1卷積進行降維并生成3D建議；
步驟四、利用四個頂點和兩個高度信息進行3D最小包圍框的約束進行編碼，將來自兩個輸入視圖裁剪調整為7×7，然后與元素方式均值操作進行融合；一組三個完全連接的大小為2048的層來處理融合特征圖，以輸出每個提案的框回歸，方向估計和類別分類。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于西北工業大學，未經西北工業大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910837423.1/1.html，轉載請聲明來源鉆瓜專利網。
