[發明專利]基于多尺度異源特征自適應融合的三維目標檢測方法

在審

• 申請號: 202111574943.1
• 申請日: 2021-12-21
• 公開（公告）號: CN114495089A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 朱虎明;楊貴鵬;焦李成;李佳昌;王晨;武文韜;惠少雄;王金成;侯彪
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

本發明提出了一種基于多尺度異源特征自適應融合的三維目標檢測方法，主要解決現有技術在單一傳感器數據下對低分辨率三維目標檢測精度低的問題，其方案為：建立訓練、測試樣本集；對點云進行體素初始化和關鍵點采樣；構建三維體素特征編碼模塊編碼體素特征；構建三維候選框估計模塊估計三維候選框；構建圖像特征編碼網絡編碼圖像特征；構建異源特征融合模塊融合體素特征、圖像特征和關鍵點特征；構建關鍵點權重估計模塊對關鍵點作二分類；建立輸出層，構建三維目標檢測模型并對其訓練；使用訓練好的模型對點云中的三維目標進行檢測。本發明改進了對低分辨率三維目標的表征能力，提高了三維目標的檢測精度，可應用于機器人導航、三維建模、自動駕駛與虛擬現實。

技術領域

本發明屬于多傳感器數據融合技術領域，特別涉及一種多尺度異源特征自適應融合的三維目標檢測方法，可應用于機器人導航、三維建模、自動駕駛與虛擬現實。

背景技術

激光雷達和相機是智能車和機器人上最常見的傳感器，對兩者獲取的點云和圖像數據的處理決定了智能終端的智能化程度。然而，每個傳感器既有自身優勢，也純在天然缺陷，點云包含精確的空間距離信息，但是數據很稀疏，缺乏顏色信息，受雨霧天氣的影響大；圖像具有高分辨率像素和豐富的紋理，但是無法獲取物體之間的精確距離。因此，兩者的優勢互補，能夠更好的幫助智能終端感知外部環境。因此，點云和圖像的融合在智能化設備領域得到了充分的利用。

三維目標的檢測是一種對三維空間目標進行三維檢測的任務，其作為眾多領域的重要應用，近年來受到了廣泛的關注。隨著神經網絡的不斷發展，基于深度學習的融合點云和圖像數據的三維目標檢測方法已成為了學界的研究熱點，例如，Vora S等人發表的名稱為“PointPainting:Sequential Fusion for 3D Object Detection”(CVPR2020)的論文中,使用圖像語義分割后的信息輔助進行點云的三維目標檢測，能夠充分利用目標的語義信息，獲得了很好的檢測性能，然而，由于圖像語義分割的結果將直接影響三維檢測結果，魯棒性差；史少帥等人發表的名稱為“PV-RCNN:Point-Voxel Feature Set Abstractionfor 3D Object Detection”(CVPR2020)的論文中，使用體素特征融合點特征的方法，平衡了兩種方法之間關于計算量大和空間特征信息丟失帶來的問題，然而，此方法依舊存在單傳感器對低分辨率目標的檢測低的問題。

為了避免單一特征帶來不足，引入了異源特征融合。異源特征融合就是將不同表征形式的特征進行融合，實質上就是通過組合不同特征帶來的優勢來提高三維目標檢測的精度，例如申請公布號為CN111209840A的專利申請文獻公開了一種基于多傳感器數據融合的3D目標檢測方法，其實現步驟為：1)分別利用兩個神經網絡對點云和圖像進行逐點和逐像素的特征提取，在點云的前景點上進行區域建議。2)利用傳感器的標定矩陣實現兩種異質傳感器數據的逐點關聯，實現最大程度上的關聯。3)最后利用一個神經網絡對每一個區域的聯合特征表示進行自適應的融合，并根據融合后的區域特征直接進行進一步得精細化調整。本發明雖然通過神經網絡自適應地融合兩類傳感器數據特征，克服了點云數據稀疏和圖像數據沒有深度信息等不足，但是沒有改變基于點的特征提取帶來的大計算量和圖像特征提取階段與任務弱相關的問題。

發明內容

本發明的目的在于克服上述現有技術存在的缺陷，提出一種基于多尺度異源特征自適應融合的三維目標檢測方法，以提高檢測精度。

為實現上述目的，本發明的技術方案包括如下：

(1)從公開數據集中獲取包括訓練樣本集E₁和測試樣本集E₂，每個樣本包括Lidar點云、RGB圖像和三維目標的標注信息；

(2)構建包括異源特征融合模塊和關鍵點權重估計模塊的異源特征融合網絡，其中，異源特征融合模塊用于不同模態數據的多尺度特征融合，權重估計模塊用于特征融合后關鍵點的權重估計；