[發明專利]一種基于前景強化知識蒸餾的點云3D目標檢測方法

在審

• 申請號: 202211648986.4
• 申請日: 2022-12-20
• 公開（公告）號: CN116246096A
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 趙攀;項志宇
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/28;G06V10/52;G06V10/40;G06V10/77;G06V10/766;G06V10/82;G06N3/0464;G06N3/084;G06N3/0895
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于前景強化知識蒸餾的點云3D目標檢測方法，其特征在于，包括如下步驟：

1)構建已知數據集中各幀點云對應的網絡輸入點云；

2)構建前景點云對齊蒸餾網絡PAD-Net，前景點云對齊蒸餾網絡PAD-Net由教師檢測網絡、學生檢測網絡和特征蒸餾模塊組成，教師檢測網絡和學生檢測網絡之間通過特征蒸餾模塊相連，將已知數據集中各幀點云對應的網絡輸入點云輸入到前景點云對齊蒸餾網絡PAD-Net的教師檢測網絡和學生檢測網絡中對前景點云對齊蒸餾網絡PAD-Net進行訓練，獲得訓練好的前景點云對齊蒸餾網絡，將訓練好的前景點云對齊蒸餾網絡中的學生檢測網絡作為最終前景點云檢測網絡；

3)激光雷達實時采集點云并疊加保存的歷史時刻點云，獲得實時輸入點云序列，將實時輸入點云序列輸入最終前景點云檢測網絡中，預測獲得當前時刻所有目標的類別和定位信息。

2.根據權利要求1所述的一種基于前景強化知識蒸餾的點云3D目標檢測方法，其特征在于，所述1)中，對于已知數據集的每幀點云，對每幀點云與對應的歷史幀點云進行標注關聯，計算獲得當前幀點云中目標的水平平移和水平旋轉，根據目標的水平平移和水平旋轉將歷史幀點云中目標點云經過剛體變換對齊后添加到當前幀點云中，以及將歷史幀點云中背景點云直接添加到當前幀點云后，獲得當前幀點云對應的教師檢測網絡輸入點云序列；

將歷史幀點云直接添加至當前幀點云中后，獲得當前幀點云對應的學生檢測網絡輸入點云序列。

3.根據權利要求1所述的一種基于前景強化知識蒸餾的點云3D目標檢測方法，其特征在于，所述教師檢測網絡和學生檢測網絡的結構相同，學生檢測網絡包括體素化模塊、特征提取模塊和檢測模塊，學生檢測網絡的輸入作為體素化模塊的輸入，體素化模塊經特征提取模塊后與檢測模塊相連，特征提取模塊的輸出輸入到特征蒸餾模塊中，檢測模塊的輸出作為學生檢測網絡的輸出。

4.根據權利要求1所述的一種基于前景強化知識蒸餾的點云3D目標檢測方法，其特征在于，所述特征蒸餾模塊中，首先，將學生檢測網絡的特征提取模塊的輸出經卷積層后，獲得蒸餾最終特征圖，再根據學生檢測網絡的輸出中的回歸值，生成學生檢測網絡的輸出中置信度大于預設錨框置信度閾值th_{anchor_keep}的錨框對應的3D包圍框，當前3D包圍框與當前幀點云檢測真值框級聯后獲得特征蒸餾框，接著將特征蒸餾框投影到鳥瞰視角，獲得鳥瞰蒸餾框，鳥瞰蒸餾框所在區域作為重點區域，將蒸餾最終特征圖上位于鳥瞰蒸餾框內的像素點的特征蒸餾損失權重置為1，否則置為0，由所有為1的特征蒸餾損失權重組成重點區域權重，利用重點區域權重對蒸餾最終特征圖進行特征蒸餾。

5.根據權利要求1所述的一種基于前景強化知識蒸餾的點云3D目標檢測方法，其特征在于，所述學生檢測網絡的總損失函數由目標分類損失函數、參數定位回歸損失函數和特征蒸餾損失函數組成，公式如下：

其中，L表示學生檢測網絡總損失，M為分類為正負樣本的錨框的數量，L_cls，m為第m個錨框的分類損失，N為分類為正樣本的錨框的數量，L_loc，n為第n個錨框的回歸損失，P為重點區域像素點的數量，L_{feat_dist，p}為第p個像素點的特征距離損失，λ₀為當前幀目標分類損失可調權重，λ₁為當前幀目標回歸損失可調權重，λ₂為特征蒸餾損失可調權重。

6.根據權利要求5所述的一種基于前景強化知識蒸餾的點云3D目標檢測方法，其特征在于，所述第m個錨框的分類損失的計算公式如下：

其中，α和γ為第一、第二可調參數；c_obj為錨框分類置信度，gt_anchor為置信度對應的監督信號；若錨框為正樣本，gt_anchor＝1，否則gt_anchor＝0。