[發明專利]基于神經網絡的畸變三維點云分割方法

在審

• 申請號: 202011344486.2
• 申請日: 2020-11-26
• 公開（公告）號: CN112561922A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 英向華;王睿彬;佟新;楊錦發;趙赫;石永杰
• 申請（專利權）人: 北京大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T5/00;G06N3/08;G06N3/04
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種基于神經網絡的畸變點云分割方法，其特征在于，該方法利用神經網絡提取不同空間內點云的規范化信息，對畸變點云進行分割；包括如下步驟：

A.構建用于車載畸變點云分割的深度網絡模型，包括：點云提升網絡模塊；提升空間點云規范化網絡模塊；編碼預測網絡模塊；

A1.點云提升網絡模塊用于提升點云特征維度，精確學習規范化矩陣；

點云提升網絡模塊的輸入為原始空間的點云P，點云P包括多個空間點，其中每個點p_i由三維空間坐標表示；通過提升函數實現點云從原始空間到提升空間的轉化；對于每一個點p_i＝[x，y，z]，升維后的高維點坐標表示為：

v(P)＝v(x，y，z)＝[x²，xy，xz，y²，yz，z²]

其中，是提升函數，用于升高點云所在的空間維度，同時每個點都被表示成由原始坐標組成的階次更高的單項式；

點云提升網絡模塊輸出為提升的高維空間的點云v(P)；

A2.提升空間點云規范化網絡模塊；

在訓練階段，該模塊的輸入是提升的高維空間的點云v(P)；輸出是規范化后的提升空間的點云v′(P)；在測試階段，輸入對應的是車載雷達采集到的畸變點云數據，輸出是對畸變數據矯正后的數據；

首先從升維空間點云的三維坐標提取點云的幾何特征，并進一步利用特征學習規范化矩陣；提升空間點云規范化網絡模塊的結構如下：

θ_P＝Resize(Maxpool{l_tl_t-1...l₁(v(P)))

其中，v(P)為高維空間點云，表示學習到的規范化矩陣。l_tl_t-1...l₁表示為{l_i}_{i＝1，2，...，t}，表示使用t層的多層感知機結構，每一層都使用了批標準化和激活函數；

接著將多層感知機從點云提取到的特征輸入到池化層Maxpool挑選出關鍵參數，最后對關鍵參數順序進行排列，得到高維空間6×6規范化矩陣θ_P。

利用規范化矩陣θ_P對高維空間點云進行畸變矯正，表示為：

v′(P)＝θ_P*v(P)

得到規范化后的高維空間的點云v′(P)；

A3.編碼預測網絡模塊用于將規范化后的高維空間點云v′(P)進行編碼，并進一步通過編碼值預測最終分割結果；

編碼預測網絡模塊的輸入為v′(P)，輸出為最終分割結果L，對應點云中每個點所預測出的類別；編碼預測網絡模塊包括4個感知層，由1個池化層和3個全連接層組成；且每一層都使用批標準化和激活函數；

B.使用無畸變點云數據集訓練用于車載畸變點云分割的深度網絡模型，生成點云分割模型；包括如下步驟：

B1)成對輸入點云數據和相應的分割標簽；

B2)利用網絡模塊對輸入點云進行分割預測；

B3)根據分割的預測結果和真值標簽，動態調整每個模塊參數；

B4)訓練結束，生成訓練好的點云分割模型；

C.利用訓練好的點云分割模型分割車載雷達產生的畸變點云；

C1)模擬無人駕駛過程中車載雷達可能產生的畸變點云；

C2)使用訓練好的點云分割模型對畸變點云數據進行分割；

通過上述步驟，即實現基于神經網絡的畸變點云分割。

2.如權利要求1所述基于神經網絡的畸變點云分割方法，其特征是，點云提升網絡模塊的輸入具體為大小為1024×3的原始空間的點云P，由1024個空間點坐標p₁，p₂，...，p_i，...，p₁₀₂₄構成；網絡模塊的輸出是大小為1024×6的提升空間的點云v(P)。

3.如權利要求1所述基于神經網絡的畸變點云分割方法，其特征是，訓練階段的點云數據集使用沒有畸變的完整點云，包括1024×3的點云物體P，由1024個三維點坐標組成；點云物體P的類別包括車輛、道路、樹木、指示牌，每個物體所對應的分割標簽L，大小為1024×1，對應每個點的具體細分類別。

4.如權利要求1所述基于神經網絡的畸變點云分割方法，其特征是，具體將模擬車載雷達在無人車上運行時產生的畸變點云數據作為待分割點云數據，輸入訓練好的點云分割網絡模型；所述畸變點云數據為無人駕駛中的仿射畸變，包括沿著三個坐標軸的隨機旋轉，平移，剪切和縮放，以及車載雷達采集過程中，隨機點缺失和噪音點所造成的畸變。