[發明專利]一種融合圖像點云特征的分類方法和裝置

在審

• 申請號: 202210515948.5
• 申請日: 2022-05-12
• 公開（公告）號: CN115049872A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 何哲琪;馮陽;張雨
• 申請（專利權）人: 蘇州輕棹科技有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V20/58;G06V10/80;G06V10/40;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京慧誠智道知識產權代理事務所(特殊普通合伙) 11539
• 代理人: 高梅

1.一種融合圖像點云特征的分類方法，其特征在于，所述方法包括：

獲取指定時段內指定攝像頭拍攝的多個圖像生成第一圖像序列；并獲取所述指定時段內與所述指定攝像頭對應的指定雷達掃描生成的多個掃描點云生成第一點云序列；所述第一圖像序列包括多個第一圖像，所述第一點云序列包括多個第一點云；

根據所述第一圖像序列和所述第一點云序列進行圖像點云融合特征提取處理生成對應的融合特征向量；

基于分類神經網絡對所述融合特征向量進行分類處理得到對應的分類向量；所述分類向量為一維向量，包括指定數量m個分類向量數據，各個所述分類向量數據分別對應一個分類類別；所述分類類別包括6類類別分別為車、行人、騎行者、綠植、柵欄和其它物體；

將取值最大的所述分類向量數據對應的所述分類類別作為本次分類結果輸出。

2.根據權利要求1所述的融合圖像點云特征的分類方法，其特征在于，所述根據所述第一圖像序列和所述第一點云序列進行圖像點云融合特征提取處理生成對應的融合特征向量，具體包括：

根據所述第一圖像序列進行圖像特征提取處理生成對應的第一特征向量；

根據所述第一點云序列進行點云特征提取處理生成對應的第二特征向量；

對所述第一、第二特征向量進行向量合并得到對應的第三特征向量；

將所述第三特征向量輸入LSTM神經網絡進行特征融合處理生成對應的融合特征向量。

3.根據權利要求2所述的融合圖像點云特征的分類方法，其特征在于，所述根據所述第一圖像序列進行圖像特征提取處理生成對應的第一特征向量，具體包括：

對所述第一圖像序列的所述第一圖像的數量進行統計生成第一數量b₁；

將所述第一圖像序列的各個所述第一圖像分別輸入ResNet18神經網絡進行特征提取處理生成對應的第一圖像特征向量；所述第一圖像特征向量的形狀為1×1024；

由得到的所述第一數量b₁個所述第一圖像特征向量組成所述第一特征向量；所述第一特征向量的形狀為b₁×1024。

4.根據權利要求2所述的融合圖像點云特征的分類方法，其特征在于，所述根據所述第一點云序列進行點云特征提取處理生成對應的第二特征向量，具體包括：

對所述第一點云序列的所述第一點云的數量進行統計生成第二數量b₂；

將所述第一點云序列的各個所述第一點云分別輸入PointNet神經網絡進行特征提取處理生成對應的第一點云特征向量；所述第一點云特征向量的形狀為1×1024；

由得到的所述第二數量b₂個所述第一點云特征向量組成所述第二特征向量；所述第二特征向量的形狀為b₂×1024。

5.根據權利要求2所述的融合圖像點云特征的分類方法，其特征在于，

所述第三特征向量的形狀為(b₁+b₂)×1024；第一數量b₁為所述第一圖像序列的所述第一圖像的數量，第二數量b₂為所述第一點云序列的所述第一點云的數量。

6.根據權利要求5所述的融合圖像點云特征的分類方法，其特征在于，所述將所述第三特征向量輸入LSTM神經網絡進行特征融合處理生成對應的融合特征向量，具體包括：

將結構為(b₁+b₂)×1024的所述第三特征向量輸入所述LSTM神經網絡，由所述LSTM神經網絡對所述第三特征向量1024個維度上的(b₁+b₂)個特征進行特征融合，從而得到對應的所述融合特征向量；所述融合特征向量的結構為1×1024。