[發(fā)明專利]一種基于前景強(qiáng)化知識蒸餾的點(diǎn)云3D目標(biāo)檢測方法

在審

• 申請?zhí)枺?/td>: 202211648986.4
• 申請日: 2022-12-20
• 公開（公告）號: CN116246096A
• 公開（公告）日: 2023-06-09
• 發(fā)明（設(shè)計(jì)）人: 趙攀;項(xiàng)志宇
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/28;G06V10/52;G06V10/40;G06V10/77;G06V10/766;G06V10/82;G06N3/0464;G06N3/084;G06N3/0895
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

本發(fā)明公開了一種基于前景強(qiáng)化知識蒸餾的點(diǎn)云3D目標(biāo)檢測方法。首先，構(gòu)建已知數(shù)據(jù)集中各幀點(diǎn)云對應(yīng)的網(wǎng)絡(luò)輸入點(diǎn)云；接著構(gòu)建PAD?Net，PAD?Net由教師檢測網(wǎng)絡(luò)和學(xué)生檢測網(wǎng)絡(luò)之間通過特征蒸餾模塊相連組成，將網(wǎng)絡(luò)輸入點(diǎn)云輸入到PAD?Net的教師檢測網(wǎng)絡(luò)和學(xué)生檢測網(wǎng)絡(luò)中對PAD?Net進(jìn)行訓(xùn)練，將訓(xùn)練好的學(xué)生檢測網(wǎng)絡(luò)作為最終前景點(diǎn)云檢測網(wǎng)絡(luò)；最后激光雷達(dá)實(shí)時(shí)采集點(diǎn)云并疊加保存的歷史時(shí)刻點(diǎn)云，獲得實(shí)時(shí)輸入點(diǎn)云序列，將實(shí)時(shí)輸入點(diǎn)云序列輸入最終前景點(diǎn)云檢測網(wǎng)絡(luò)中，預(yù)測獲得當(dāng)前時(shí)刻所有目標(biāo)的類別和定位信息。本發(fā)明能夠有效克服單幀點(diǎn)云固有的稀疏性缺陷，提升對遮擋嚴(yán)重、距離較遠(yuǎn)的困難目標(biāo)的檢測效果。

技術(shù)領(lǐng)域

本發(fā)明涉及目標(biāo)檢測技術(shù)領(lǐng)域的一種點(diǎn)云3D目標(biāo)檢測方法，特別是涉及了一種基于前景強(qiáng)化知識蒸餾的點(diǎn)云3D目標(biāo)檢測方法。

背景技術(shù)

自動駕駛場景的目標(biāo)檢測是無人車輛感知環(huán)境的重要任務(wù)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，目標(biāo)檢測的方法有了較大的改進(jìn)。從之前的人工提取特征轉(zhuǎn)變成卷積神經(jīng)網(wǎng)絡(luò)自動提取信息，通過端到端的方式極大的提升了檢測的質(zhì)量。激光雷達(dá)因其能夠提供精確的三維信息，成為3D目標(biāo)檢測中廣泛使用的傳感器。

基于單幀點(diǎn)云的3D目標(biāo)檢測方案按照對點(diǎn)云編碼方式的不同可分成三個(gè)類別：基于空間體素的檢測、基于原始點(diǎn)云的檢測、點(diǎn)云-體素融合的檢測。空間體素的方案包括使用3D卷積的VoxelNet，使用稀疏3D卷積的SECOND，高度上不進(jìn)行區(qū)分的體素柱編碼方案PointPillars；基于空間體素的檢測方案包括融合點(diǎn)云分割的二階段檢測網(wǎng)絡(luò)PointRCNN，融合歐氏空間距離和特征空間距離采樣策略的3DSSD，融合類別感知采樣和質(zhì)心感知采樣兩種面向任務(wù)采樣策略的IA-SSD；點(diǎn)云-體素融合的檢測方案包括基于體素編碼獲得高質(zhì)量3D候選框，再利用原始點(diǎn)云獲得更加精細(xì)的局部特征的PV-RCNN，添加前景分割、目標(biāo)中心點(diǎn)估計(jì)兩個(gè)輔助任務(wù)使主干網(wǎng)絡(luò)具有較好的結(jié)構(gòu)感知能力的SA-SSD，引入圖神經(jīng)網(wǎng)絡(luò)建模局部鄰域圖中目標(biāo)邊界關(guān)聯(lián)性的BADet。

激光雷達(dá)點(diǎn)云具有稀疏性，對距離較遠(yuǎn)、遮擋嚴(yán)重目標(biāo)掃到的點(diǎn)云數(shù)量較少，檢測器對這類困難目標(biāo)的漏檢較為嚴(yán)重。基于此問題，目前主要有兩種解決方案：一是融合多傳感器的多模態(tài)檢測器，如MV3D、PointPainting、DeepFusion和TransFusion等。提取圖像特征運(yùn)算量較大導(dǎo)致實(shí)時(shí)性較差，多模態(tài)特征的融合又對傳感器標(biāo)定質(zhì)量有較高的要求；二是基于時(shí)序點(diǎn)云輸入的多幀方案，這類算法能夠一定程度彌補(bǔ)激光雷達(dá)點(diǎn)云稀疏的問題，同時(shí)不依賴于其他傳感器。通過合理的設(shè)計(jì)網(wǎng)絡(luò)，多幀檢測器的實(shí)時(shí)性也能得到保證，在自動駕駛場景落地前景較大。此外，多幀輸入包含場景中的運(yùn)動信息，合理的提取運(yùn)動特征可以實(shí)現(xiàn)對未來時(shí)刻的預(yù)測，實(shí)現(xiàn)多個(gè)任務(wù)的相互促進(jìn)。

YOLO4D在YOLO3D的基礎(chǔ)上使用LSTM結(jié)構(gòu)提取多幀特征，F(xiàn)AF將歷史幀的點(diǎn)云通過坐標(biāo)變換對齊到當(dāng)前幀，之后將時(shí)序點(diǎn)云分別體素化并沿著時(shí)間的維度拼接，變成4D的張量；PointFlowNet將前后兩幀的特征級聯(lián)輸入到后續(xù)的卷積層中，3D-MAN使用注意力機(jī)制融合時(shí)序幀的候選框，SDP-Net使用場景流估計(jì)任務(wù)輸出的像素級偏移量指導(dǎo)特征搬移對齊。以上方法需要使用時(shí)序結(jié)構(gòu)或搬移對齊操作，網(wǎng)絡(luò)結(jié)構(gòu)較復(fù)雜，實(shí)時(shí)性弱。

發(fā)明內(nèi)容

為了解決背景技術(shù)中存在的問題，本發(fā)明的目的在于提供了一種基于前景強(qiáng)化知識蒸餾的點(diǎn)云3D目標(biāo)檢測方法，適用于實(shí)時(shí)檢測系統(tǒng)。本發(fā)明使用單幀檢測網(wǎng)絡(luò)框架，使用前景對齊點(diǎn)云提取的豐富特征指導(dǎo)未對齊點(diǎn)云提取特征，能夠有效克服單幀點(diǎn)云固有的稀疏性缺陷，對遮擋嚴(yán)重、距離較遠(yuǎn)的困難目標(biāo)的檢測效果較好，整體檢測性能優(yōu)于對應(yīng)的單幀檢測器。網(wǎng)絡(luò)參數(shù)量少，實(shí)時(shí)性強(qiáng)。

本發(fā)明采用的技術(shù)方案如下：

1)構(gòu)建已知數(shù)據(jù)集中各幀點(diǎn)云對應(yīng)的網(wǎng)絡(luò)輸入點(diǎn)云；