[發(fā)明專利]一種基于動(dòng)態(tài)卷積的單目3D目標(biāo)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111558081.3
• 申請(qǐng)日: 2021-12-20
• 公開（公告）號(hào): CN114266900A
• 公開（公告）日: 2022-04-01
• 發(fā)明（設(shè)計(jì)）人: 渠慎明;楊鑫鈺;陳芳;劉蘇晨;李涵;段玉春;劉強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 河南大學(xué)
• 主分類號(hào): G06V10/44
• 分類號(hào): G06V10/44;G06V10/764;G06V10/82;G06V10/32;G06K9/62;G06T7/55;G06N3/04;G06N3/08
• 代理公司: 鄭州聯(lián)科專利事務(wù)所(普通合伙) 41104
• 代理人: 王聚才

1.一種基于動(dòng)態(tài)卷積的單目3D目標(biāo)檢測(cè)方法，其特征在于：包括以下步驟

S1:將3D目標(biāo)檢測(cè)數(shù)據(jù)集中的RGB圖像大小縮放為512×1760，分別作為特征提取網(wǎng)絡(luò)和深度圖生成網(wǎng)絡(luò)的輸入；

S2：將步驟S1中固定大小的RGB圖像輸入到深度圖生成網(wǎng)絡(luò)，生成其對(duì)應(yīng)的深度圖，作為濾波器生成網(wǎng)絡(luò)的輸入；

S3：濾波器生成網(wǎng)絡(luò)根據(jù)輸入的不同深度圖生成特征提取網(wǎng)絡(luò)中動(dòng)態(tài)卷積層對(duì)應(yīng)圖像的卷積核，并將生成的卷積核輸入到特征提取網(wǎng)絡(luò)的動(dòng)態(tài)卷積中；

S4：將步驟S1中固定大小的RGB圖像輸入到特征提取網(wǎng)絡(luò)，輸出最終生成的特征圖；

S5：對(duì)最終生成的特征圖進(jìn)行2D、3D包圍框的預(yù)測(cè)，將預(yù)測(cè)結(jié)果進(jìn)行數(shù)據(jù)轉(zhuǎn)換，轉(zhuǎn)換為最終的3D目標(biāo)檢測(cè)效果圖。

2.根據(jù)權(quán)利要求1所述的一種基于動(dòng)態(tài)卷積的單目3D目標(biāo)檢測(cè)方法，其特征在于：所述步驟S2中，深度圖生成網(wǎng)絡(luò)基于Densedepth網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的一種基于動(dòng)態(tài)卷積的單目3D目標(biāo)檢測(cè)方法，其特征在于：所述步驟3中的濾波器生成網(wǎng)絡(luò)，主干是選用ResNet-50的前三個(gè)塊來進(jìn)行計(jì)算，通過對(duì)輸入深度圖的特征提取，根據(jù)深度圖中背景和目標(biāo)的占比不同來動(dòng)態(tài)的生成卷積核，對(duì)深度圖特征提取得到對(duì)應(yīng)的背景和目標(biāo)的權(quán)重系數(shù)，根據(jù)背景和目標(biāo)權(quán)重系數(shù)的比值來決定卷積核的大小；

濾波器生成網(wǎng)絡(luò)的輸入是：h為深度圖的高，w為深度圖的寬，C_a為輸入深度圖A的通道數(shù)目，輸出為s為濾波器的尺寸，n為濾波器的數(shù)目，d為動(dòng)態(tài)卷積的膨脹系數(shù)為0，C_b為輸入B通道的數(shù)目，在這里，C_a＝C_b。將過濾器應(yīng)用于輸入I_B，輸出G＝F_θ(I_B)。動(dòng)態(tài)卷積的參數(shù)θ由濾波器生成網(wǎng)絡(luò)生成，θ中s對(duì)應(yīng)動(dòng)態(tài)卷積的卷積核大小k，n對(duì)應(yīng)動(dòng)態(tài)卷積的卷積核個(gè)數(shù)。

4.根據(jù)權(quán)利要求1所述的一種基于動(dòng)態(tài)卷積的單目3D目標(biāo)檢測(cè)方法，其特征在于：所屬步驟S4中，將經(jīng)過特征提取網(wǎng)絡(luò)前三層得到的特征圖和經(jīng)過動(dòng)態(tài)卷積層所得的特征圖進(jìn)行Element-wise product操作，得到結(jié)果輸入到特征提取網(wǎng)絡(luò)的最后一層輸出最終的特征圖，根據(jù)最終生成的特征圖進(jìn)行2D、3D包圍框的預(yù)測(cè)，將預(yù)測(cè)結(jié)果進(jìn)行數(shù)據(jù)轉(zhuǎn)換；

輸出的特征圖將輸出的特征圖作為2D-3D檢測(cè)器的輸入。我們假設(shè)一個(gè)攝像機(jī)內(nèi)參數(shù)δ，δ∈R^3×4(R^3×4是一個(gè)3×4的矩陣)。因此，3D和2D之間的投影關(guān)系可以表示為：

其中[x，y，z]_3D表示三維點(diǎn)在相機(jī)坐標(biāo)中的水平位置、高度和深度，而[x，y]_p表示三維點(diǎn)在2D圖像坐標(biāo)中的投影。z_3D表示它的真實(shí)標(biāo)簽的深度。