[發明專利]基于稀疏FPN的3D物體點云數據識別方法

有效

• 申請號: 201910641251.0
• 申請日: 2019-07-16
• 公開（公告）號: CN110363145B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 楊藝;章書豪;王好謙;王強鋒;曾義
• 申請（專利權）人: 深圳市凌云視迅科技有限責任公司;深圳市未來媒體技術研究院
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

本申請提供了基于稀疏FPN的3D物體點云數據識別方法，獲取3D物體的點云數據，將點云數據分為訓練集和測試集；標記訓練集和測試集中數據的所屬類別；構建基于稀疏FPN的識別網絡模型，識別網絡模型包括稀疏卷積模塊、FPN模塊和全連接層，稀疏卷積模塊包括三個，三個稀疏卷積子模塊分別與FPN模塊連接，FPN模塊與全連接層連接；采用訓練集訓練識別網絡模型，直至識別網絡模型的損失函數最小，獲得調整后的識別網絡模型；將測試集中的點云數據輸入調整后的識別網絡模型中，輸出點云數據的所屬類別信息。采用稀疏卷積模塊和FPN模塊，提高深層特征的感受域，將點云數據的淺層特征和深層特征結合，提高點云數據的識別精度。

技術領域

本申請涉及計算機視覺與數字圖像處理領域，尤其涉及基于稀疏FPN的3D物體點云數據識別方法。

背景技術

點云數據是指掃描資料以點的形式記錄，每一個點包含有三維坐標，有些可能含有顏色信息或反射強度信息。點云數據作為一種重要的立體數據結構，在虛擬現實、機器人領域中扮演者重要的角色。由于點云數據相對于圖像而言有特殊的格式，現如今大多數研究都將點云數據轉換為三維體素網格，用立體網格中的空間占據率來表示三維幾何形狀，再通過深度神經網絡對立體網絡進行特征提取以及分類。這種通過點云數據與網格之間轉換的方法，增加了計算負擔，增加了處理過程的繁瑣性。因此，提出一種直接對3D物體點云數據進行識別的方法，避免3D物體點云數據處理的繁瑣性。

隨著卷積神經網絡的提出，提出了基于卷積神經網絡的3D物體點云數據識別方法。基于卷積神經網絡的3D物體點云數據識別方法具體過程如下：首先，點云數據通過輸入層輸入；其次，對點云數據進行多次卷積處理，獲得高維卷積層，并提取高維卷積層中的各個特征；再次，各個特征經過池化層降維，并將降維后的特征經過全連接層輸出；最后，全連接層的特征經過softmax函數映射，獲取點云數據的所屬類別。

而現有技術中對3D識別網絡進行多次卷積處理，并將最終特征輸出。由于基于卷積神經網絡的3D物體點云數據識別方法只將多次卷積處理后的最終特征輸出。但隨著卷積神經網絡的深入，深層網絡的感受域越來越小，點云數據的邊緣點被忽略舍去，點云數據識別的精確度也逐漸降低。因此，亟需基于稀疏FPN的3D物體點云數據識別方法。

發明內容

本申請提供了基于稀疏FPN的3D物體點云數據識別方法，以解決基于卷積神經網絡的3D物體點云數據識別方法進行點云數據識別時精確度低的技術問題。

為了解決上述問題，本申請提供以下的技術方案:

基于稀疏FPN的點云數據識別方法，方法包括：獲取3D物體的點云數據，并將點云數據隨機分為訓練集和測試集；標記訓練集和所述測試集中每一個數據的所屬類別；構建基于稀疏FPN的識別網絡模型，識別網絡模型包括稀疏卷積模塊、FPN模塊和全連接層，稀疏卷積模塊包括第一稀疏卷積子模塊、第二稀疏卷積子模塊和第三稀疏卷積子模塊，三個稀疏卷積子模塊分別與FPN模塊通過卷積連接，FPN模塊與全連接層通過卷積連接；訓練集訓練識別網絡模型，直至識別網絡模型的損失函數最小，獲得調整后的識別網絡模型；將測試集中的點云數據輸入到調整后的識別網絡模型中進行測試，輸出點云數據的所屬類別信息。

可選地，構建基于稀疏FPN的識別網絡模型，包括：點云數據經過第一稀疏卷積子模塊卷積后獲得一次卷積點云數據；一次卷積點云數據依次通過第二稀疏卷積子模塊和第三稀疏卷積子模塊進行卷積，分別獲得二次卷積點云數據和三次卷積點云數據；將一次卷積點云數據、二次卷積點云數據和三次卷積點云數據分別對應輸入FPN模塊中，并分別進行兩次卷積，獲得對應點云數據；對應點云數據進行concat操作后，獲得整合點云數據；整合點云數據經過兩次卷積后，獲得四次卷積點云數據，并將四次卷積點云數據通過全連接層輸出，獲得基于稀疏FPN的識別網絡模型。

可選地，稀疏卷積模塊包括：第一稀疏卷積子模塊和第二稀疏卷積子模塊均包括兩個3*3稀疏卷積核，稀疏卷積核的稀疏率為2；第三稀疏卷積子模塊包括兩個3*3稀疏卷積核，稀疏卷積核的稀疏率為4。