[發明專利]一種人體關鍵點與激光雷達融合的3D行人檢測方法

在審

• 申請號: 202210155255.X
• 申請日: 2022-02-21
• 公開（公告）號: CN114639115A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 程景春;楊生;張春熹;金靖;戴敏鵬;高爽
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/774;G06V10/40;G06K9/62;G06N3/04
• 代理公司: 北京天匯航智知識產權代理事務所(普通合伙) 11987
• 代理人: 史繼穎

本發明公開了一種人體關鍵點與激光雷達融合的3D行人檢測方法，包括關鍵點檢測、3D特征提取以及行人位置預測；本發明充分利用圖像中的行人關鍵點和點云數據中的深度特征，增強了點云和圖像信息用于提升行人目標識別的效果，有效提升3D行人檢測的精度，彌補點云特征中缺失圖像色彩信息和圖像缺失目標三維位置的不足；本發明的方法在智能機器人、增強現實、自動駕駛等諸多領域具有十分重要的意義和應用價值。

技術領域

本發明屬于3D目標檢測技術領域，涉及一種人體關鍵點與激光雷達融合的3D行人檢測方法。

背景技術

3D行人檢測任務依托自動駕駛、增強現實和智能機器人等應用場景，是目前計算機視覺領域的研究熱點之一。在上述場景下，人作為主要的行為主體，是一種最普遍的檢測目標。尤其是在車輛自動駕駛的情境中，不確定因素往往來源于行人或騎行者。人在交通環境中的靈活性及其所占的重要地位，使得行人需要較高的檢測精度。但因為行人目標小、特征不足和背景干擾等問題，為3D行人檢測帶來很大挑戰。

激光雷達是一種通過探測遠距離物體的激光散射來獲取目標相關信息的光學遙感技術，是結合傳統雷達和現代激光的技術產品。其通過探測目標物體表面的激光散射來獲取信息，在測距、測速、掃描、目標檢測等領域有廣泛的應用。在自動駕駛技術中，感知周圍空間環境主要通過激光雷達掃描器，以規劃車輛行進路線，控制車輛安全的到達預定目的地。與傳統測量技術相比，激光雷達數據采集器具有高測量精度、高檢測效率、全天候探測、非接觸探測的優點。

人體關鍵點檢測是計算機視覺中的一個基礎任務，是人體動作識別、行為分析、人機交互等的前置任務。人體骨骼關鍵點對于描述人體姿態、預測人體行為至關重要，是諸多計算機視覺任務的基礎，例如動作分類、異常行為檢測、自動駕駛等。人體關鍵點檢測在人體識別中精度可達80％，其在人體行為預測方面也有很好的成績。因此結合人體關鍵點研究基于點云和圖像的三維行人檢測在自動駕駛領域具有十分重要的意義和應用價值。

現有3D目標檢測方式主要基于點云數據進行目標識別，此類算法具有檢測精度性能較好的特點，但由于未使用圖像數據，缺失色彩信息，使得部分背景特征易被錯檢為行人。而人體關鍵點檢測主要用于2D場景下人體目標檢測和相應的行為預測等方面研究，缺失三維空間下行人的位置和尺寸等特征。

發明內容

為了解決上述已有技術存在的不足，本發明提出一種人體關鍵點和激光雷達融合的3D行人檢測方法，結合點云高距離測量精度和人體關鍵點高行人識別能力的優點，實現三維空間中3D行人目標的檢測。本發明的具體技術方案如下：

一種人體關鍵點與激光雷達融合的3D行人檢測方法，在車輛前端安裝魚眼攝像頭和激光雷達，用于獲取車輛前方和側方區域的可見光圖像、車輛前方和側方區域的3D空間雷達點云數據，包括以下步驟：

S1：基于可見光圖像的人體關鍵點檢測；從圖像中提取出人體關鍵點位置，推理得出關鍵點之間的連接關系，上溯至每個行人的檢測框位置；

S2：搭建基于人體關鍵點的雷達3D點云特征提取網絡進行特征提取；以基于體素的雷達信號檢測網絡為基礎，通過特征降維與二維圖像進行配準，根據配準結果精準引入關鍵點位置，使得網絡能夠圍繞關鍵點位置進行三維特征提??；

S3：行人3D位置檢測網絡的訓練與預測；通過神經網絡對行人在3D空間的中心點位置以及長寬高信息進行回歸預測，利用損失函數進行訓練，得到最終的行人3D檢測網絡；并經過檢測框后處理，給出最終的預測結果。

進一步地，所述步驟S1的具體過程為：

S1-1：標注訓練數據；根據MSCOCO數據集的關鍵點數據和標注信息訓練OpenPose關鍵點識別算法，對輸入的圖像信息進行人體關鍵點檢測，包括14個關鍵點：頭、頸、左右肩、左右肘、左右腕、左右腰、左右膝、左右踝；