[發(fā)明專利]三維目標(biāo)檢測方法及檢測裝置

有效

• 申請?zhí)枺?/td>: 202110282039.7
• 申請日: 2021-03-16
• 公開（公告）號: CN113011317B
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 李輝;王俊印;于新;崔雪紅;呂祥聰;徐凌偉
• 申請（專利權(quán)）人: 青島科技大學(xué)
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/80;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 青島聯(lián)智專利商標(biāo)事務(wù)所有限公司 37101
• 代理人: 李升娟

1.一種三維目標(biāo)檢測方法，其特征在于，所述方法包括：

獲取待檢測目標(biāo)的原始點(diǎn)云數(shù)據(jù)和原始RGB圖像；

利用所述原始點(diǎn)云數(shù)據(jù)重構(gòu)鳥瞰圖，獲得地面特征信息增強(qiáng)的鳥瞰圖；

將所述原始點(diǎn)云數(shù)據(jù)、所述原始RGB圖像和所述鳥瞰圖進(jìn)行特征持續(xù)融合，獲得融合特征；

將所述融合特征輸入目標(biāo)檢測器，獲得目標(biāo)檢測結(jié)果；

利用所述原始點(diǎn)云數(shù)據(jù)重構(gòu)鳥瞰圖，獲得地面特征信息增強(qiáng)的鳥瞰圖，具體包括：

將所述原始點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為體素空間內(nèi)的原始數(shù)據(jù)；

采用線性插值方法對所述體素空間內(nèi)的每一個(gè)原始數(shù)據(jù)進(jìn)行處理，獲得體素空間特征；

將所述體素空間特征輸入至全卷積網(wǎng)絡(luò)中進(jìn)行特征學(xué)習(xí)，輸出體素空間內(nèi)原始數(shù)據(jù)點(diǎn)相對于地面點(diǎn)的高度預(yù)測數(shù)據(jù)；

對所述原始點(diǎn)云數(shù)據(jù)和所述高度預(yù)測數(shù)據(jù)進(jìn)行處理，獲得去除地面點(diǎn)信息的點(diǎn)云數(shù)據(jù)；

將所述去除地面點(diǎn)信息的點(diǎn)云數(shù)據(jù)進(jìn)行體素處理，重構(gòu)鳥瞰圖，獲得地面特征信息增強(qiáng)的鳥瞰圖。

2.根據(jù)權(quán)利要求1所述的三維目標(biāo)檢測方法，其特征在于，對所述原始點(diǎn)云數(shù)據(jù)和所述高度預(yù)測數(shù)據(jù)進(jìn)行處理，獲得去除地面點(diǎn)信息的點(diǎn)云數(shù)據(jù)，具體包括：

將所述原始點(diǎn)云數(shù)據(jù)中每個(gè)點(diǎn)的Z軸原始高度數(shù)據(jù)減去該點(diǎn)在所述高度預(yù)測數(shù)據(jù)中對應(yīng)的預(yù)測的Z軸高度數(shù)據(jù)，獲得Z軸高度差數(shù)據(jù)；

用所述Z軸高度差數(shù)據(jù)更新所述原始點(diǎn)云數(shù)據(jù)中的每個(gè)點(diǎn)的Z軸原始高度數(shù)據(jù)，更新后的點(diǎn)云數(shù)據(jù)確定為去除地面點(diǎn)信息的點(diǎn)云數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的三維目標(biāo)檢測方法，其特征在于，所述全卷積網(wǎng)絡(luò)為U-Net++網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的三維目標(biāo)檢測方法，其特征在于，將所述原始點(diǎn)云數(shù)據(jù)、所述原始RGB圖像和所述鳥瞰圖進(jìn)行特征持續(xù)融合，獲得融合特征，具體包括：

對所述鳥瞰圖中的每一個(gè)點(diǎn)使用K近鄰算法確定鳥瞰圖K近鄰點(diǎn)，獲得鳥瞰圖K近鄰點(diǎn)數(shù)據(jù)和鳥瞰圖K近鄰中心偏移數(shù)據(jù)；

從所述原始點(diǎn)云數(shù)據(jù)中獲得與所述鳥瞰圖K近鄰點(diǎn)對應(yīng)的原始點(diǎn)的點(diǎn)云數(shù)據(jù)，確定為融合用點(diǎn)云數(shù)據(jù)；

采用殘差網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)對所述原始RGB圖像進(jìn)行特征學(xué)習(xí)，獲得圖像學(xué)習(xí)特征；

將所述鳥瞰圖、所述鳥瞰圖K近鄰點(diǎn)數(shù)據(jù)、所述鳥瞰圖K近鄰中心偏移數(shù)據(jù)、所述融合用點(diǎn)云數(shù)據(jù)和所述圖像學(xué)習(xí)特征作為輸入，輸入至由殘差網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)構(gòu)成的特征融合模塊進(jìn)行特征持續(xù)融合，獲得融合特征。

5.根據(jù)權(quán)利要求4所述的三維目標(biāo)檢測方法，其特征在于，將所述鳥瞰圖、所述鳥瞰圖K近鄰點(diǎn)數(shù)據(jù)、所述鳥瞰圖K近鄰中心偏移數(shù)據(jù)、所述融合用點(diǎn)云數(shù)據(jù)和所述圖像學(xué)習(xí)特征作為輸入，輸入至由殘差網(wǎng)絡(luò)、連續(xù)卷積和特征金字塔網(wǎng)絡(luò)構(gòu)成的特征融合模塊進(jìn)行特征持續(xù)融合，獲得融合特征，具體包括：

將所述鳥瞰圖數(shù)據(jù)經(jīng)過卷積處理和歸一化激活處理，得到處理后的鳥瞰圖數(shù)據(jù)，作為輸入數(shù)據(jù)輸入至所述特征融合模塊中；

從所述圖像學(xué)習(xí)特征中獲得與所述鳥瞰圖K近鄰點(diǎn)對應(yīng)的圖像學(xué)習(xí)特征數(shù)據(jù)，確定為融合用圖像學(xué)習(xí)特征；將所述融合用圖像學(xué)習(xí)特征和所述鳥瞰圖K近鄰中心偏移數(shù)據(jù)進(jìn)行張量拼接，輸出二維密集信息數(shù)據(jù)；將所述二維密集信息數(shù)據(jù)與所述融合用點(diǎn)云數(shù)據(jù)進(jìn)行張量拼接處理，輸出融合三維空間信息的融合數(shù)據(jù)；

將所述處理后的鳥瞰圖數(shù)據(jù)和所述融合三維空間信息的融合數(shù)據(jù)均作為輸入數(shù)據(jù)輸入至所述特征融合模塊中進(jìn)行特征持續(xù)融合，獲得融合特征。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的三維目標(biāo)檢測方法，其特征在于，將所述融合特征輸入目標(biāo)檢測器，獲得目標(biāo)檢測結(jié)果，具體包括：

利用目標(biāo)檢測器中的關(guān)鍵點(diǎn)熱力圖檢測頭及已知的定位損失函數(shù)檢測目標(biāo)的中心點(diǎn)；

利用目標(biāo)檢測器中的偏移損失檢測頭及已知的偏移損失函數(shù)檢測目標(biāo)的偏移；

利用目標(biāo)檢測器中的3D目標(biāo)尺寸回歸檢測頭及已知的尺寸損失函數(shù)檢測目標(biāo)的尺寸；

利用目標(biāo)檢測器中的方向角回歸檢測頭及已知的方向損失函數(shù)檢測目標(biāo)的方向；

根據(jù)目標(biāo)的中心點(diǎn)、目標(biāo)的偏移、目標(biāo)的尺寸及目標(biāo)的方向，確定目標(biāo)檢測結(jié)果。