[發(fā)明專利]一種基于pointpillars的多平面編碼點云特征深度學(xué)習(xí)模型的構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 202010425656.3
• 申請日: 2020-05-19
• 公開（公告）號: CN111612059B
• 公開（公告）日: 2022-10-21
• 發(fā)明（設(shè)計）人: 周洋;呂精靈;李小毛;彭艷;蒲華燕;謝少榮;羅均
• 申請（專利權(quán)）人: 上海大學(xué)
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 鄭州翊博專利代理事務(wù)所(普通合伙) 41155
• 代理人: 付紅莉;周玉青

本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，具體公開了一種基于pointpillars的多平面編碼點云特征深度學(xué)習(xí)模型的構(gòu)建方法。構(gòu)建方法為：獲取訓(xùn)練樣本，采用訓(xùn)練樣本對多平面編碼點云特征深度學(xué)習(xí)模型進行訓(xùn)練，使得將訓(xùn)練樣本中的點云數(shù)據(jù)輸入訓(xùn)練后的多平面編碼點云特征深度學(xué)習(xí)模型得到的識別結(jié)果為點云數(shù)據(jù)中檢測目標(biāo)的位置邊界框坐標(biāo)及邊界框坐標(biāo)中目標(biāo)的存在概率。本發(fā)明構(gòu)建的多平面編碼點云特征深度學(xué)習(xí)模型能夠?qū)崿F(xiàn)對點云數(shù)據(jù)三維空間采樣，并將采樣得到三個平面內(nèi)支柱點云特征進行學(xué)習(xí)融合，解決了現(xiàn)有點云采樣空間信息損失的問題，更好的還原了點云在空間中各個方向上角度不同帶來的檢測精度的損失，模型的魯棒性好，檢測準(zhǔn)確度高。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，具體涉及一種基于pointpillars的多平面編碼點云特征深度學(xué)習(xí)模型的構(gòu)建方法。

背景技術(shù)

目標(biāo)檢測是計算機視覺的一項重要的任務(wù)，目的旨在是識別目標(biāo)的種類，以及定位該目標(biāo)的位置，對于傳統(tǒng)的二維目標(biāo)檢測，目前計算機視覺領(lǐng)域已經(jīng)做的非常成熟了，而由于二維目標(biāo)檢測針對的是圖像層面，只包含物體的平面信息，隨著自動駕駛行業(yè)的快速發(fā)展，目標(biāo)檢測越來越關(guān)注物體的三維信息，所以基于深度學(xué)習(xí)的三維目標(biāo)檢測技術(shù)也得到了快速發(fā)展，目前三維目標(biāo)檢測技術(shù)主要依賴圖像和激光雷達點云進行環(huán)境感知。基于這兩種數(shù)據(jù)可以提取出物體的空間結(jié)構(gòu)的信息，包括物體的姿態(tài)，尺寸，運動方向、形狀等。從激光雷達點云數(shù)據(jù)中識別物體是目前三維目標(biāo)檢測的核心問題，而點云數(shù)據(jù)稀疏、無序、非結(jié)構(gòu)化，在極端環(huán)境下識別難度大，所以用激光雷達點云數(shù)據(jù)做三維目標(biāo)檢測任然是個開放性問題。

近年來，國內(nèi)外學(xué)者提出了多種三維目標(biāo)檢測算法，應(yīng)用于無人駕駛場景下主要還是使用激光雷達傳感器采集的點云方法，包括bird’s view和2D image圖像分別用2DCNN操作后融合，例如AVOD；再如將三維場景體素化，將點云轉(zhuǎn)化為標(biāo)準(zhǔn)的3D voxels；運用三維卷積對特征進行學(xué)習(xí)，但是存在計算量過大，速度緩慢的問題。有一篇文章pointpillars提出來一種新穎的的編碼方式，利用pointnet去學(xué)習(xí)點云的垂直柱體表示方法pillars，通過編碼特征可以運用成熟的2D卷積框架學(xué)習(xí)，速度更快，計算力更小，速度可達到62Hz,快速版本可達到105Hz。

MV3D也是學(xué)者們提出的一個多視角(Multi-view)的3D物體識別網(wǎng)絡(luò)，采用多模態(tài)的數(shù)據(jù)作為輸入和預(yù)測3D空間的目標(biāo)，使用RGB圖像、雷達鳥瞰圖、雷達前視圖這種方法作為網(wǎng)絡(luò)的輸入：實現(xiàn)精確的汽車的識別和3D框回歸。

基于單目、雙目和深度相機視覺也是學(xué)者們提出的三維目標(biāo)檢測方法。針對室內(nèi)場景的檢測，首先室內(nèi)場景尺度小，不會出現(xiàn)室外場景中遠距離目標(biāo)，種類上更加多樣化，所以需要更加豐富的輸入信息，因而基于雙目/深度相機的方法更加合適，多了Depth Map通道，指的是視點的場景對象表面的距離有關(guān)的信息的圖像或圖像通道，像素值是傳感器距離物體的實際距離，對圖像紋理特征和深度特征等多特征進行融合的方法，例如DepthRCNN、AD3D、2D-driven等算法，但是檢測效果的提升在于2D目標(biāo)檢測的模型的有效性。而且室內(nèi)場景復(fù)雜，小目標(biāo)多，有很多物體遮擋，往往會影響檢測精度。2012年，F(xiàn)idler等人將DPM擴展到單目視覺下的三維目標(biāo)檢測，將每一個目標(biāo)類表示為一個可變形的三維長方體，通過物體部件與三維檢測框表面之間的變換關(guān)系，有效地實現(xiàn)了部分形狀特征明顯的室內(nèi)目標(biāo)的三維檢測，例如床、桌子等明顯長方體特征目標(biāo)。為了提高室內(nèi)場景下多目標(biāo)的檢測精度，Zhuo等人提出了深度估計網(wǎng)絡(luò)和3D RPN結(jié)合的端到端的基于單目視覺的三維目標(biāo)檢測網(wǎng)絡(luò)。