[發(fā)明專(zhuān)利]用于3D障礙物的檢測(cè)方法、裝置、系統(tǒng)及計(jì)算機(jī)存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910127900.5
• 申請(qǐng)日: 2019-02-20
• 公開(kāi)（公告）號(hào): CN109948448B
• 公開(kāi)（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 杜新新
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州風(fēng)圖智能科技有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 上海專(zhuān)利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 徐偉

1.一種用于3D障礙物的檢測(cè)方法，用于基于3D點(diǎn)云和2D圖像執(zhí)行3D障礙物檢測(cè)，所述檢測(cè)方法包括：

對(duì)所述2D圖像執(zhí)行2D障礙物識(shí)別以獲得所述2D圖像中至少一個(gè)潛在障礙物的2D邊界框；

對(duì)每個(gè)2D邊界框在所述3D點(diǎn)云中對(duì)應(yīng)的每個(gè)3D點(diǎn)云子集執(zhí)行幾何分析以確定多個(gè)潛在障礙物的3D邊界框；

對(duì)各個(gè)3D邊界框所含的點(diǎn)云數(shù)據(jù)執(zhí)行特征計(jì)算以提取每一3D邊界框所對(duì)應(yīng)的3D特征向量；

對(duì)每個(gè)3D邊界框在所述2D圖像中對(duì)應(yīng)的每個(gè)2D圖像區(qū)執(zhí)行特征提取以生成各2D圖像區(qū)所對(duì)應(yīng)的2D特征向量；

將各個(gè)3D邊界框和對(duì)應(yīng)2D圖像區(qū)的相應(yīng)3D特征向量和2D特征向量融合以生成融合特征向量；以及

基于所述融合特征向量執(zhí)行3D障礙物識(shí)別以獲得各3D邊界框的分類(lèi)信息。

2.如權(quán)利要求1所述的檢測(cè)方法，其特征在于，所述對(duì)所述2D圖像執(zhí)行2D障礙物識(shí)別包括基于R-Cnn深度學(xué)習(xí)框架或MS-Cnn深度學(xué)習(xí)框架執(zhí)行所述2D障礙物識(shí)別。

3.如權(quán)利要求1所述的檢測(cè)方法，其特征在于，所述針對(duì)每個(gè)3D點(diǎn)云子集執(zhí)行幾何分析包括：

在該點(diǎn)云子集中確定垂直于地面且包含最多點(diǎn)云數(shù)據(jù)的平面；以及

在所述平面兩側(cè)根據(jù)檢測(cè)目標(biāo)的尺寸設(shè)置多個(gè)所述3D邊界框，其中每個(gè)3D邊界框的底與該點(diǎn)云子集的最低點(diǎn)在同一水平面且具有與所述平面重合的豎直面。

4.如權(quán)利要求1所述的檢測(cè)方法，其特征在于，所述對(duì)各個(gè)3D邊界框所含的點(diǎn)云數(shù)據(jù)執(zhí)行特征計(jì)算包括：

將該3D邊界框所含的點(diǎn)云數(shù)據(jù)輸入3D特征提取卷積神經(jīng)網(wǎng)絡(luò)以生成該3D邊界框的深度特征層；以及

對(duì)該3D邊界框的深度特征層執(zhí)行ROI池化操作以生成該3D邊界框的3D特征向量。

5.如權(quán)利要求4所述的檢測(cè)方法，其特征在于，所述3D特征提取卷積神經(jīng)網(wǎng)絡(luò)包括分別由兩層卷積層和一層最大池化層構(gòu)成的第一層和第二層、由三層卷積層和一層最大池化層構(gòu)成的第三層、以及由三層卷積層構(gòu)成的第四層。

6.如權(quán)利要求1所述的檢測(cè)方法，其特征在于，對(duì)每個(gè)2D圖像區(qū)執(zhí)行特征提取包括：

在2D障礙物識(shí)別的深度學(xué)習(xí)框架的圖像整體深度特征層針對(duì)每個(gè)2D圖像區(qū)執(zhí)行ROI池化操作以生成每個(gè)2D圖像區(qū)對(duì)應(yīng)的2D特征向量。

7.如權(quán)利要求1所述的檢測(cè)方法，其特征在于，所述將3D特征向量和2D特征向量融合包括將該3D特征向量和2D特征向量的對(duì)應(yīng)維度求取平均數(shù)以生成平均特征向量以作為所述融合特征向量。

8.如權(quán)利要求1所述的檢測(cè)方法，其特征在于，所述基于所述融合特征向量執(zhí)行3D障礙物識(shí)別包括將所述融合特征向量輸入融合卷積神經(jīng)網(wǎng)絡(luò)以獲得各3D邊界框的分類(lèi)信息。

9.如權(quán)利要求8所述的檢測(cè)方法，其特征在于，所述基于融合卷積神經(jīng)網(wǎng)絡(luò)包括兩層串聯(lián)的全聯(lián)層以及另外兩層并聯(lián)的全聯(lián)層。

10.如權(quán)利要求8所述的檢測(cè)方法，其特征在于，每個(gè)3D邊界框的分類(lèi)信息包括該3D邊界框?yàn)楹畏N障礙物及其概率。