[發明專利]一種基于流數據的三維物體檢測與跟蹤方法

有效

• 申請號: 201910725207.8
• 申請日: 2019-08-07
• 公開（公告）號: CN110570457B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 黃凱;郭敘森;古劍鋒;郭思璐;楊鋮章;許子瀟
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

1.一種基于流數據的三維物體檢測與跟蹤方法，其特征在于，包括如下步驟：

步驟一：輸入前后兩幀由點云數據和圖像數據組成的關鍵幀數據，對數據進行預處理，其中的點云數據在俯視圖方向上投影結構轉化成BEV圖；

步驟二：將步驟一中的兩關鍵幀數據進行特征提取，得到特征圖，并將提取的特征圖輸入區域特征提取模塊，分別得到兩個關鍵幀的候選框集合；

步驟三：所述候選框在特征圖中截取特征塊和調整尺寸，然后輸入分類網絡與框回歸網絡,得到物體的類別和三維框位置；

步驟四：對步驟二中提取的兩個關鍵幀的數據做相關操作得到相關特征圖，所述候選框在相關特征圖中截取特征塊和調整尺寸，然后輸入回歸網絡得到兩個關鍵幀對應物體的三維框的偏移量；

步驟五：根據物體的三維框和三維框對應的偏移量，運用插值法得到兩個關鍵幀數據之間的其他幀數據的物體的三維框，從而得到所有幀中的物體的三維檢測結果；

步驟六：根據檢測結果，對所有幀數據對應的物體相互關聯，得到跟蹤結果。

2.根據權利要求1所述的一種基于流數據的三維物體檢測與跟蹤方法，其特征在于，在所述步驟一中，對圖像數據進行歸一化，然后裁剪到1200x360px；對點云數據，取范圍在[-40,40]x[0,70]x[0,2.5]m內的點，然后去除掉在圖像范圍外的點值。

3.根據權利要求2所述的一種基于流數據的三維物體檢測與跟蹤方法，其特征在于，在所述步驟二中，所述特征提取基于VGG16的結構并加入特征金字塔結構，對兩個關鍵幀圖像數據進行數據提取，分別得到點云特征圖和圖像特征圖；將兩個特征圖輸入RPN預測，得到若干個三維候選框。

4.根據權利要求3所述的一種基于流數據的三維物體檢測與跟蹤方法，其特征在于，在所述步驟二中，對候選框進行非極大值抑制算法得到K個提取框。

5.根據權利要求4所述的一種基于流數據的三維物體檢測與跟蹤方法，其特征在于，在所述步驟三中，所述提取框分別在點云特征圖和圖像特征圖上截取相應的特征塊，調整至相同大小后經過多視角融合后通過全連接網絡分類和回歸，得到對應物體的三維框。

6.根據權利要求5所述的一種基于流數據的三維物體檢測與跟蹤方法，其特征在于，在所述步驟四中，計算前后兩幀的圖像特征圖和點云特征圖的卷積互相關特征，得到相關特征圖C_img^t,t+τ和C_pc^t,t+τ；使用所述提取框分別在C_img^t,t+τ和C_pc^t,t+τ特征圖上截取相應的特征塊，調整至相同大小后再進行兩個視角的特征融合，得到融合特征圖C_fusion^t,t+τ；將所述融合特征圖輸入全連接網絡，得到兩關鍵幀對應物體的三維框偏移量。

7.根據權利要求6所述的一種基于流數據的三維物體檢測與跟蹤方法，其特征在于，在所述步驟三中和所述步驟四中，對三維框和三維框偏移量進行非極大值抑制算法進行篩選。

8.根據權利要求1所述的一種基于流數據的三維物體檢測與跟蹤方法，其特征在于，在所述步驟六中，得到所有幀的檢測結果后，使用IOU Tracker算法關聯不同幀的三維框；具體為先設定一個重疊程度閾值，如果前后兩幀圖像的物體三維框的重疊程度超過該閾值，則判斷為同一物體，相反，則認為不是同一物體。