[發(fā)明專利]一種融合圖像點(diǎn)云特征的分類方法和裝置

在審

• 申請?zhí)枺?/td>: 202210515948.5
• 申請日: 2022-05-12
• 公開（公告）號: CN115049872A
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 何哲琪;馮陽;張雨
• 申請（專利權(quán)）人: 蘇州輕棹科技有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V20/58;G06V10/80;G06V10/40;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京慧誠智道知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11539
• 代理人: 高梅

本發(fā)明實(shí)施例涉及一種融合圖像點(diǎn)云特征的分類方法和裝置，所述方法包括：獲取指定時(shí)段內(nèi)指定攝像頭拍攝的多個(gè)圖像生成第一圖像序列，指定雷達(dá)掃描生成的多個(gè)掃描點(diǎn)云生成第一點(diǎn)云序列；根據(jù)第一圖像序列和第一點(diǎn)云序列進(jìn)行圖像點(diǎn)云融合特征提取處理生成對應(yīng)的融合特征向量；基于分類神經(jīng)網(wǎng)絡(luò)對融合特征向量進(jìn)行分類處理得到對應(yīng)的分類向量；將取值最大的分類向量數(shù)據(jù)對應(yīng)的分類類別作為本次分類結(jié)果輸出。通過本發(fā)明，可以提高分類精度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種融合圖像點(diǎn)云特征的分類方法和裝置。

背景技術(shù)

自動駕駛系統(tǒng)的感知模塊會基于感知傳感器(攝像頭、雷達(dá)等)獲取的感知數(shù)據(jù)(攝像頭拍攝圖像、雷達(dá)點(diǎn)云)對自車行駛環(huán)境中的障礙物進(jìn)行目標(biāo)分類并將分類結(jié)果傳輸給下游模塊。在進(jìn)行分類處理時(shí)，感知模塊的常規(guī)做法是先分別基于圖像特征、點(diǎn)云特征進(jìn)行分類，再對二者分類結(jié)果進(jìn)行比對，若分類一致或有交集則將相交部分作為分類結(jié)果輸出。這種處理方式一方面要執(zhí)行兩組完整的分類處理流程、時(shí)間消耗較大；另一方面分類交集范圍不好確定，容易導(dǎo)致分類范圍過大的問題。

發(fā)明內(nèi)容

本發(fā)明的目的，就是針對現(xiàn)有技術(shù)的缺陷，提供一種融合圖像點(diǎn)云特征的分類方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)，選擇最近時(shí)段內(nèi)的圖像和點(diǎn)云組成對應(yīng)的圖像、點(diǎn)云序列，并基于ResNet18神經(jīng)網(wǎng)絡(luò)對圖像序列進(jìn)行特征提取、基于PointNet神經(jīng)網(wǎng)絡(luò)對點(diǎn)云序列進(jìn)行特征提取，并對提取出的圖像、點(diǎn)云特征進(jìn)行向量合并，并基于長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)對合并向量進(jìn)行特征融合，再使用分類神經(jīng)網(wǎng)絡(luò)根據(jù)特征融合向量進(jìn)行分類處理。通過本發(fā)明，一方面只需并列執(zhí)行兩組特征處理流程，縮短了處理時(shí)間；另一方面基于圖像和點(diǎn)云的融合特征進(jìn)行分類，分類結(jié)果更明確、分類精度更高。

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例第一方面提供了一種融合圖像點(diǎn)云特征的分類方法，所述方法包括：

獲取指定時(shí)段內(nèi)指定攝像頭拍攝的多個(gè)圖像生成第一圖像序列；并獲取所述指定時(shí)段內(nèi)與所述指定攝像頭對應(yīng)的指定雷達(dá)掃描生成的多個(gè)掃描點(diǎn)云生成第一點(diǎn)云序列；所述第一圖像序列包括多個(gè)第一圖像，所述第一點(diǎn)云序列包括多個(gè)第一點(diǎn)云；

根據(jù)所述第一圖像序列和所述第一點(diǎn)云序列進(jìn)行圖像點(diǎn)云融合特征提取處理生成對應(yīng)的融合特征向量；

基于分類神經(jīng)網(wǎng)絡(luò)對所述融合特征向量進(jìn)行分類處理得到對應(yīng)的分類向量；所述分類向量為一維向量，包括指定數(shù)量m個(gè)分類向量數(shù)據(jù)，各個(gè)所述分類向量數(shù)據(jù)分別對應(yīng)一個(gè)分類類別；所述分類類別包括6類類別分別為車、行人、騎行者、綠植、柵欄和其它物體；

將取值最大的所述分類向量數(shù)據(jù)對應(yīng)的所述分類類別作為本次分類結(jié)果輸出。

優(yōu)選的，所述根據(jù)所述第一圖像序列和所述第一點(diǎn)云序列進(jìn)行圖像點(diǎn)云融合特征提取處理生成對應(yīng)的融合特征向量，具體包括：

根據(jù)所述第一圖像序列進(jìn)行圖像特征提取處理生成對應(yīng)的第一特征向量；

根據(jù)所述第一點(diǎn)云序列進(jìn)行點(diǎn)云特征提取處理生成對應(yīng)的第二特征向量；

對所述第一、第二特征向量進(jìn)行向量合并得到對應(yīng)的第三特征向量；

將所述第三特征向量輸入LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行特征融合處理生成對應(yīng)的融合特征向量。

進(jìn)一步的，所述根據(jù)所述第一圖像序列進(jìn)行圖像特征提取處理生成對應(yīng)的第一特征向量，具體包括：

對所述第一圖像序列的所述第一圖像的數(shù)量進(jìn)行統(tǒng)計(jì)生成第一數(shù)量b₁；

將所述第一圖像序列的各個(gè)所述第一圖像分別輸入ResNet18神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取處理生成對應(yīng)的第一圖像特征向量；所述第一圖像特征向量的形狀為1×1024；