[發明專利]一種人體關鍵點與激光雷達融合的3D行人檢測方法

在審

• 申請號: 202210155255.X
• 申請日: 2022-02-21
• 公開（公告）號: CN114639115A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 程景春;楊生;張春熹;金靖;戴敏鵬;高爽
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/774;G06V10/40;G06K9/62;G06N3/04
• 代理公司: 北京天匯航智知識產權代理事務所(普通合伙) 11987
• 代理人: 史繼穎

1.一種人體關鍵點與激光雷達融合的3D行人檢測方法，在車輛前端安裝魚眼攝像頭和激光雷達，用于獲取車輛前方和側方區域的可見光圖像、車輛前方和側方區域的3D空間雷達點云數據，其特征在于，包括以下步驟：

S1：基于可見光圖像的人體關鍵點檢測；從圖像中提取出人體關鍵點位置，推理得出關鍵點之間的連接關系，上溯至每個行人的檢測框位置；

S2：搭建基于人體關鍵點的雷達3D點云特征提取網絡進行特征提??；以基于體素的雷達信號檢測網絡為基礎，通過特征降維與二維圖像進行配準，根據配準結果精準引入關鍵點位置，使得網絡能夠圍繞關鍵點位置進行三維特征提?。?/p>

S3：行人3D位置檢測網絡的訓練與預測；通過神經網絡對行人在3D空間的中心點位置以及長寬高信息進行回歸預測，利用損失函數進行訓練，得到最終的行人3D檢測網絡；并經過檢測框后處理，給出最終的預測結果。

2.根據權利要求1所述的可見光圖像行人關鍵點檢測檢測方法，其特征在于，所述步驟S1的具體過程為：

S1-1：標注訓練數據；根據MSCOCO數據集的關鍵點數據和標注信息訓練OpenPose關鍵點識別算法，對輸入的圖像信息進行人體關鍵點檢測，包括14個關鍵點：頭、頸、左右肩、左右肘、左右腕、左右腰、左右膝、左右踝；

S1-2：利用OpenPose關鍵點檢測算法，使用步驟S1-1中的訓練數據進行訓練，得到行人關鍵點檢測網絡，向訓練好的網絡輸入魚眼攝像頭獲取的可見光圖像，得到所有行人的關鍵點檢測結果，再通過匈牙利算法得出每個關鍵點所屬的行人，最終給出圖像中所有人的2D關鍵點；

S1-3：根據關鍵點所屬行人信息，得出該行人的最大最小位置坐標，自下而上生成人體候選區域，得到行人候選框結果。

3.根據權利要求1或2所述的基于行人關鍵點的3D點云特征提取網絡的搭建，其特征在于，所述步驟S2中的基于人體關鍵點的雷達3D點云特征提取網絡包括串聯的體素劃分模塊、特征映射匹配模塊、特征增強模塊與預測模塊，其中，

①所述體素劃分模塊，3D空間雷達點云包含三維空間信息，沿X、Y、Z軸的寬度為W、高度為H、深度為D，進行體素劃分成均勻等大的長方體塊，點云體素劃分采用的寬度、高度、深度的最小單元分別為ν_W、ν_H、ν_D，分割后生成的三維體素網絡大小為：W′＝W/ν_W、H′＝H/ν_H、D′＝D/ν_D；體素劃分后，體素網格中包含雷達點，將體素網格內包含超過T個雷達點的劃分為非空體素，否則為空體素，在各非空體素網格內隨機采樣T個點，作為體素的特征；

②所述特征映射匹配模塊，通過三層卷積網絡從所述體素劃分模塊的輸出中提取點云特征，分為兩路分別使用特征加和層對3D空間雷達點云進行降維處理，降維方向分別對應雷達正視圖與二維鳥瞰圖，其中，雷達正視圖方向與可見光圖像方向一致，在此方向上基于雷達正視圖與可見光圖像進行信號配準，并在雷達正視圖中引入步驟S1中得到的人體關鍵點；

③所述特征增強模塊，基于所述特征映射匹配模塊的處理結果，從二維鳥瞰圖方向進行特征堆疊和增強，引入特征加和層之前的層即所述特征映射匹配模塊中的三層卷積網絡的特征搭建特征金字塔，沿雷達正視圖和二維鳥瞰圖中的局部極值所在點周邊3*3像素區域進行特征加和，再與二維鳥瞰圖特征串聯，得到增強后特征；

④所述預測模塊，基于增強后的特征搭建預測模塊預測行人的3D檢測框位置，包括用于特征抽象的三個全連接層和兩個預測支路，其中，每個全連接層降采樣1/2，兩個預測支路分別對應行人類別和行人3D坐標的預測。

4.根據權利要求1-3之一所述的網絡訓練與預測方法，其特征在于，所述步驟S3的具體過程為：

S3-1：在3D行人檢測數據集上統一訓練步驟S2中搭建基于人體關鍵點信息的雷達點云特征提取網絡，引入利用focal loss損失函數優化預測結果，其數學表達形式為：

FL(p_t)＝-(1-p_t)^γlog(p_t)

其中，y表示標簽，由于是二分類，y的取值為{+1,-1}，p表示預測樣本屬于1的概率，范圍為0到1；為方便表示，用p_t代替p，p_t表示樣本屬于正樣本的概率，γ聚焦參數，γ≥0，(1-p_t)^γ是調制參數，通過增加難分類樣本的權重，使不易分類的小目標在模型訓練時受到關注，最終得到高精度的行人3D檢測網絡；

S3-2：步驟S3-1訓練得到3D行人檢測網絡，在檢測過程中，直接將關鍵點圖像和雷達點云輸入網絡，網絡預測出3D行人檢測框，并通過非極大值抑制后輸出最終結果。