[發(fā)明專利]基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法與模型

在審

• 申請(qǐng)?zhí)枺?/td>: 202211452093.2
• 申請(qǐng)日: 2022-11-21
• 公開（公告）號(hào): CN115760983A
• 公開（公告）日: 2023-03-07
• 發(fā)明（設(shè)計(jì)）人: 李志恒;黃迪和
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳國(guó)際研究生院
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06V20/56;G06V20/64;G06V20/70;G06V10/77;G06V10/80;G06V10/82
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 徐羅艷

1.一種基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法，其特征在于，包括：

獲取實(shí)時(shí)點(diǎn)云數(shù)據(jù)幀并進(jìn)行點(diǎn)云體素化，得到初始體素特征及其體素坐標(biāo)；

對(duì)所述初始體素特征進(jìn)行稀疏化，得到稀疏體素特征；

對(duì)所述稀疏體素特征進(jìn)行自適應(yīng)動(dòng)態(tài)特征降維，得到初始BEV特征，并對(duì)所述初始BEV特征進(jìn)行多尺度BEV特征提取，獲得包含語義特征的多尺度BEV特征；

對(duì)所述稀疏體素特征進(jìn)行多尺度體素特征提取，獲得包含幾何特征的多尺度體素特征，并對(duì)每個(gè)尺度上的體素特征進(jìn)行降維，然后與對(duì)應(yīng)尺度上的BEV特征進(jìn)行融合；

利用最后一層融合的BEV特征進(jìn)行3D檢測(cè)，估計(jì)目標(biāo)物體在BEV空間的位置。

2.如權(quán)利要求1所述的基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法，其特征在于，對(duì)所述稀疏體素特征進(jìn)行自適應(yīng)動(dòng)態(tài)特征降維的步驟包括：

對(duì)所述稀疏體素特征沿高度維度估計(jì)特征空間分布，該估計(jì)的特征空間分布用于表征沿高度維度物體特征的重要性權(quán)重；

根據(jù)所述估計(jì)的特征空間分布對(duì)沿高度維度物體特征進(jìn)行重加權(quán)，得到所述初始BEV特征。

3.如權(quán)利要求2所述的基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法，其特征在于，對(duì)所述稀疏體素特征沿高度維度估計(jì)特征空間分布的步驟包括：

通過卷積核大小為3×3×3的3D子流型稀疏卷積估計(jì)體素特征重要性權(quán)重，其通道數(shù)為1；

對(duì)所述體素特征重要性沿著高度維度進(jìn)行歸一化得到所述估計(jì)的特征空間分布。

4.如權(quán)利要求3所述的基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法，其特征在于，根據(jù)所述估計(jì)的特征空間分布對(duì)沿高度維度物體特征進(jìn)行重加權(quán)的步驟包括：

使用所述估計(jì)的特征空間分布對(duì)所述稀疏體素特征沿高度維度進(jìn)行動(dòng)態(tài)加權(quán)，得到所述初始BEV特征。

5.如權(quán)利要求1所述的基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法，其特征在于，對(duì)所述稀疏體素特征進(jìn)行多尺度體素特征提取的步驟包括：

構(gòu)造用于提取幾何特征的體素特征提取分支，將所述稀疏體素特征作為該體素特征提取分支的初始輸入，進(jìn)行多階段體素特征提取，對(duì)應(yīng)獲得所述多尺度體素特征；

其中，每階段體素特征提取的輸出結(jié)果作為下一階段體素特征提取的輸入。

6.如權(quán)利要求5所述的基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法，其特征在于，對(duì)每個(gè)尺度上的體素特征進(jìn)行降維的步驟包括：

對(duì)每階段體素特征提取的輸出結(jié)果進(jìn)行降維，獲得對(duì)應(yīng)階段的降維體素特征。

7.如權(quán)利要求6所述的基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法，其特征在于，對(duì)所述初始BEV特征進(jìn)行多尺度BEV特征提取的步驟包括：

構(gòu)造用于提取語義特征的BEV特征提取分支，將所述初始BEV特征作為該BEV特征提取分支的初始輸入，進(jìn)行多階段BEV特征提取；每階段BEV特征提取的輸出結(jié)果與對(duì)應(yīng)階段的所述降維體素特征進(jìn)行融合，作為下一階段BEV特征提取的輸入。

8.如權(quán)利要求1所述的基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法，其特征在于，利用最后一層融合的BEV特征進(jìn)行3D檢測(cè)，估計(jì)目標(biāo)物體在BEV空間的位置的步驟包括：

將最后一層融合的BEV特征通過多尺度Neck網(wǎng)絡(luò)送入Center Head檢測(cè)頭，估計(jì)物體在BEV空間的位置，同時(shí)回歸物體3D邊界框的中心偏移殘差、邊界框三維大小、邊界框中心點(diǎn)高度、物體航向角以及物體兩軸速度。

9.如權(quán)利要求1所述的基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)方法，其特征在于，對(duì)所述初始體素特征進(jìn)行稀疏化的步驟包括：

通過一個(gè)卷積核大小為5×5×1的3D稀疏卷積對(duì)所述初始體素特征進(jìn)行處理，增大感受野，得到所述稀疏體素特征。

10.一種基于自適應(yīng)與多級(jí)特征降維的點(diǎn)云3D檢測(cè)模型，其特征在于，包括：

動(dòng)態(tài)體素化模塊，用于對(duì)實(shí)時(shí)獲取的點(diǎn)云數(shù)據(jù)幀進(jìn)行點(diǎn)云體素化，以獲得初始體素特征及其體素坐標(biāo)；

第一3D稀疏卷積，連接于所述動(dòng)態(tài)體素化模塊，用于對(duì)所述初始體素特征進(jìn)行稀疏化，得到稀疏體素特征；

自適應(yīng)動(dòng)態(tài)特征降維模塊，連接于所述第一3D稀疏卷積，用于對(duì)所述稀疏體素特征進(jìn)行自適應(yīng)動(dòng)態(tài)特征降維，得到初始BEV特征；

體素特征提取分支，連接于所述第一3D稀疏卷積，用于對(duì)所述稀疏體素特征進(jìn)行多尺度體素特征提取，獲得包含幾何特征的多尺度體素特征；

多級(jí)特征降維模塊，連接于所述體素特征提取分支，用于對(duì)每個(gè)尺度上的體素特征進(jìn)行降維；

BEV特征提取分支，連接于所述自適應(yīng)動(dòng)態(tài)特征降維模塊與所述多級(jí)特征降維模塊，用于對(duì)所述初始BEV特征進(jìn)行多尺度BEV特征提取，獲得包含語義特征的多尺度BEV特征；

3D檢測(cè)模塊，連接于所述BEV特征提取分支，利用所述BEV特征提取分支的最后一層融合的BEV特征進(jìn)行3D檢測(cè)，估計(jì)目標(biāo)物體在BEV空間的位置。