[發明專利]一種單張深度圖點云場景語義補全的方法

有效

• 申請號: 202010741547.2
• 申請日: 2020-07-29
• 公開（公告）號: CN112037138B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 楊鑫;李童;張肇軒;尹寶才;樸星霖
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T17/00;G06V20/70;G06V10/26;G06V10/82;G06N3/04;G06N7/00
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 李曉亮;潘迅

1.一種單張深度圖點云場景語義補全的方法，其特征在于，該方法包括以下步驟：

步驟1：生成特定視點下帶有語義標注的初始點云

1.1)基于給定深度圖D₀和其對應的視點v₀，選用DANet作為深度圖語義分割網絡，來預測每個像素的語義標簽，生成深度分割圖S₀；

1.2)在視點v₀下，將深度圖D₀和深度分割圖S₀轉化為世界坐標系下帶有語義標注的初始點云中的每個三維點都與一個語義標簽相關聯；

步驟2：視圖路徑規劃

對得到的點云在動作空間內的不同視點下分別進行投影，獲得對應的深度圖和深度分割圖，把它們輸入DQN；并根據獎勵函數進行計算，從而在個動作空間的視點中選取最佳視點v_i；其中，i表示三維補全的次數，i＝1,2,3,…,n；

步驟3：語義補全和深度圖補全

3.1)體素補全網絡選用SSCNet，以深度圖D₀作為輸入，生成完整的體素結果V^c；在步驟2選取的最佳視點v_i下對補全的體素結果V^c進行投影，得到對應的體素深度圖

3.2)分割補全網絡選用PartialCNN，以最佳視點v_i對應的深度分割圖S_i和體素深度圖作為輸入，得到補全的分割圖

3.3)深度圖補全網絡選用StructureFlow，通過補全的分割圖提供局部信息，與全局信息結合來輔助最佳視點v_i對應的深度圖D_i的補全，生成補全后的深度圖

步驟4：聚合三維語義標注點，生成階段性點云

在最佳視點v_i下，將步驟3.2)得到的補全的分割圖和步驟3.3)得到的補全后的深度圖投影成帶有語義標簽的新三維點云；將新三維點云與投影前的舊點云聚合，生成一個更加稠密的點云以實現修補漏洞、點云補全的效果，并作為下一個階段的輸入；

步驟5：多視點漸進生成密集點云，輸出場景補全結果

重復步驟2到步驟4，直到收斂，最終輸出補全后的帶有語義信息的點云

2.根據權利要求1所述的方法，其特征在于，所述的動作空間為一個固定的視點集，包含20個不同的視點；所述視點的坐標為：x＝asinθsinφ，y＝acosθ，其中θ∈[70°,90°]，φ∈[-50°,-40°,-30°,-20°,-10°,10°,20°,30°,40°,50°]，所有的視點面向場景中心，a為3米。

3.根據權利要求1或2所述的方法，其特征在于，所述的獎勵函數包括填充獎勵函數圖像修補獎勵函數和點云恢復獎勵函數

其中，圖像修補獎勵函數為：

式(1)中，表示漏洞區域Ω的L1損失，|Ω|表示Ω區域內像素點的個數，和分別表示和相應的真值；

點云恢復獎勵函數為：

式(2)中，N表示內點的總個數，是一個三維點集且包含第i次三維補全恢復的所有三維點，即是點云真值的子集并且每個點在以點p_j為中心，以r為半徑的球體內，L_p代表點p的分割標簽，O_P是包含在集合P內的所有點的標簽的分割標簽集；

獎勵函數是三個獎勵函數的結合：

其中α、β和γ是平衡權重。

4.根據權利要求1或2所述的方法，其特征在于，所述的步驟5具體為：

記對應的不帶語義信息的點云為P_i，對P_i在步驟2中的動作空間下進行深度圖投影，計算每個生成的深度圖像中覆蓋漏洞的像素個數，用表示這些像素個數的總和；當時，即原始點云上超過95％的缺失點被修復，則終止步驟2至步驟4的循環過程。

5.根據權利要求3所述的方法，其特征在于，所述的步驟5具體為：

記對應的不帶語義信息的點云為P_i，對P_i在步驟2中的動作空間下進行深度圖投影，計算每個生成的深度圖像中覆蓋漏洞的像素個數，用表示這些像素個數的總和；當時，即原始點云上超過95％的缺失點被修復，則終止步驟2至步驟4的循環過程。