[發明專利]多模態3D目標檢測方法、系統、終端及介質在審
| 申請號： | 202110263197.8 | 申請日： | 2021-03-11 |
| 公開（公告）號： | CN112990229A | 公開（公告）日： | 2021-06-18 |
| 發明（設計）人： | 馬超 | 申請（專利權）人： | 上海交通大學 |
| 主分類號： | G06K9/46 | 分類號： | G06K9/46;G06K9/62 |
| 代理公司： | 上海恒慧知識產權代理事務所(特殊普通合伙) 31317 | 代理人： | 劉翠 |
| 地址： | 200240 *** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 多模態 目標 檢測 方法 系統 終端 介質 | ||
1.一種多模態3D目標檢測方法，其特征在于，包括如下步驟：
分別提取原始圖像I和對應的LiDAR點云L的特征；
將所述原始圖像I和對應的LiDAR點云L的特征進行點和像素的特征融合，形成LiDAR點云特征，將所述原始圖像I的特征作為圖像特征，分別生成3D區域提議和2D區域提議；
分別從所述3D區域提議和2D區域提議內提取特征并進行融合，生成最終的3D目標檢測結果。
2.根據權利要求1所述的多模態3D目標檢測方法，其特征在于，所述分別提取原始圖像I和對應的LiDAR點云L的特征，包括：
獲取原始圖像I、對應的LiDAR點云L、圖像特征提取器FEI以及LiDAR點云特征提取器FEL；
將所述原始圖像I輸入到所述圖像特征提取器FEI，得到原始圖像I的特征FI；
將所述LiDAR點云L輸入到所述LiDAR點云特征提取器FEL，得到LiDAR點云L的特征FL。
3.根據權利要求1所述的多模態3D目標檢測方法，其特征在于，所述將所述原始圖像I和對應的LiDAR點云L的特征進行點和像素的特征融合，形成LiDAR點云特征，將所述原始圖像I的特征作為圖像特征，分別生成3D區域提議和2D區域提議，包括：
根據提取得到的所述LiDAR點云L的特征FL，將所述LiDAR點云L分為前景點Lf和背景點Lb，對于所有前景點Lf，以Lf為中心設置3D錨框A3D；
將所述3D錨框A3D投影到圖像平面上，得到對應的2D錨框A2D，形成LiDAR坐標系下的點與圖像坐標系下的像素之間的投影關系；
根據所述投影關系，得到所述原始圖像I的特征FI和所述LiDAR點云L的特征FL之間的對應關系，根據所述對應關系將所述原始圖像I的特征FI和所述LiDAR點云L的特征FL進行點和像素的特征融合；
以融合得到的特征作為LiDAR點云特征F′L，對所述3D錨框A3D進行回歸和分類任務，并計算回歸誤差和分類誤差得到回歸后的3D錨框A′3D；以所述原始圖像I的特征FI作為圖像特征FI，對所述2D錨框A2D進行回歸和分類任務，并計算回歸誤差和分類誤差得到回歸后的2D錨框A′2D；
分別取得分最高的前T個2D錨框A′2D和3D錨框A′3D，分別作為2D區域提議Pro2D和3D區域提議Pro3D；
將所述3D錨框A′3D根據所述投影關系投影到圖像平面生成2D錨框A″2D，并計算所述2D錨框A″2D與所述2D錨框A′2D的誤差Lpro；
構建損失函數其中，α，β，γ分別為各項系數，通過最小化該損失函數更新網絡參數，直至網絡收斂。
4.根據權利要求3所述的多模態3D目標檢測方法，其特征在于，所述3D錨框A3D尺寸為：長3.9米、寬1.6米、高1.5米。
5.根據權利要求3所述的多模態3D目標檢測方法，其特征在于，LiDAR坐標系下的點x與圖像坐標系下的像素y之間的投影關系為：
其中，f(i)，c(i)，分別是相機傳感器的內參，是0號相機的矯正旋轉矩陣，是相機與LiDAR坐標系的旋轉向量，是相機與LiDAR坐標系的平移向量。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于上海交通大學，未經上海交通大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110263197.8/1.html，轉載請聲明來源鉆瓜專利網。
