[發(fā)明專利]基于多尺度異源特征自適應(yīng)融合的三維目標(biāo)檢測方法

在審

• 申請?zhí)枺?/td>: 202111574943.1
• 申請日: 2021-12-21
• 公開（公告）號: CN114495089A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 朱虎明;楊貴鵬;焦李成;李佳昌;王晨;武文韜;惠少雄;王金成;侯彪
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華

1.一種基于多尺度異源特征自適應(yīng)融合的三維目標(biāo)檢測方法，其特征在于，包括：

(1)從公開數(shù)據(jù)集中獲取包括訓(xùn)練樣本集E₁和測試樣本集E₂，每個(gè)樣本包括Lidar點(diǎn)云、RGB圖像和三維目標(biāo)的標(biāo)注信息；

(2)構(gòu)建包括異源特征融合模塊和關(guān)鍵點(diǎn)權(quán)重估計(jì)模塊的異源特征融合網(wǎng)絡(luò)，其中，異源特征融合模塊用于不同模態(tài)數(shù)據(jù)的多尺度特征融合，權(quán)重估計(jì)模塊用于特征融合后關(guān)鍵點(diǎn)的權(quán)重估計(jì)；

(3)構(gòu)建由異源特征編碼模塊、異源特征融合網(wǎng)絡(luò)、三維候選框估計(jì)模塊和輸出層依次連接構(gòu)成的目標(biāo)檢測模型T，其中：

所述異源特征編碼模塊，包括順次連接的三維體素特征編碼模塊、圖像特征編碼模塊，該體素特征編碼模塊用于多尺度體素空間特征的提取，該圖像特征編碼模塊用于多尺度圖像語義特征的提取；

所述三維候選框估計(jì)模塊用于對三維目標(biāo)的姿態(tài)信息進(jìn)行粗估計(jì)，該姿態(tài)信息包括三維目標(biāo)外接立方體的空間坐標(biāo)、尺度和旋轉(zhuǎn)角；

所述輸出層用于對融合特征后關(guān)鍵點(diǎn)的池化及三維目標(biāo)框的精確回歸；

(4)利用訓(xùn)練樣本集E₁，采用梯度下降法對三維目標(biāo)檢測模型T進(jìn)行訓(xùn)練，得到訓(xùn)練好的目標(biāo)檢測模型T^*；

(5)將測試樣本集E₂輸入到訓(xùn)練好的目標(biāo)檢測模型T^*進(jìn)行前向傳播，得到三維目標(biāo)檢測結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，(2)中的異源特征融合模塊，包括級聯(lián)的4個(gè)不同尺度下結(jié)構(gòu)相同的特征融合層，每個(gè)特征融合層包括3個(gè)全連接層、3個(gè)特征拼接層和特征映射層，具體結(jié)構(gòu)為：

將特征映射層、第一特征拼接層、第一全連接層依次級連，將第二特征拼接層、第二全連接層依次連接，將第一全連接層和第二全連接層分別和第三特征拼接層連接，將第三特征拼接層、第三全連接層依次連接。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，(2)中的關(guān)鍵點(diǎn)權(quán)重估計(jì)模塊包括兩個(gè)卷積層、兩個(gè)反卷積層、兩個(gè)全連接層、一個(gè)特征拼接層、softmax層和坐標(biāo)映射層，其結(jié)構(gòu)關(guān)系為：第1全連接層、第1反卷積層、第1卷積層依次級連，1卷積層和第2全連接層分別與第1特征拼接層連接，第1特征拼接層、第2反卷積層、第2卷積層、softmax層、坐標(biāo)映射層依次級連；

所述兩個(gè)卷積層，其的卷積核大小均為1，卷積核個(gè)數(shù)均為2；

所述第1反卷積層，其卷積核大小為32，卷積核個(gè)數(shù)為2，步長為16；

所述第2反卷積層，其卷積核大小為64，卷積核個(gè)數(shù)為2，步長為32。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，(3)中的三維體素特征編碼模塊，包括6個(gè)三維稀疏卷積層、6個(gè)歸一化層、6個(gè)Relu激活層，其結(jié)構(gòu)關(guān)系為：

第1三維稀疏卷積層-第1歸一化層-第1個(gè)Relu激活層-第2三維稀疏卷積層-第2歸一化層-第2Relu激活層-第3三維稀疏卷積層-第3歸一化層-第3Relu激活層-第4三維稀疏卷積層-第4歸一化層-第4Relu激活層-第5三維稀疏卷積層-第5歸一化層-第5Relu激活層-第6三維稀疏卷積-第6歸一化層-第6Relu激活層；

所述第1、第2個(gè)三維稀疏卷積層的卷積核大小均為3×3×3，卷積核個(gè)數(shù)均為16，步長均為(1，1，1)；

所述第3、第4、第5個(gè)三維稀疏卷積層的卷積核大小均3×3×3，步長均為(2，2，2)，積核個(gè)數(shù)分別為32、64、64；

所述第6個(gè)三維稀疏卷積層的卷積核大小為3×1×1，卷積核個(gè)數(shù)為128，步長(2，1，1)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，(3)中三維候選框估計(jì)模塊，包括4個(gè)卷積層、4個(gè)歸一化層、4個(gè)Relu激活層和2個(gè)全連接層，其第1卷積層、第1歸一化層、第1Relu激活層、第2卷積層、第2歸一化層、第2Relu激活層、第3卷積層、第3歸一化層、第3Relu激活層、第4卷積層、第4歸一化層、第4Relu激活層依次級聯(lián)，且第1全連接層和第2全連接層分別與第4Relu激活層連接；

所述第1卷積層的卷積核大小為3，卷積核個(gè)數(shù)為256，步長為2；

所述第2、第3、第4個(gè)卷積層的卷積核大小為3，卷積核個(gè)數(shù)為256，步長為1。