[發明專利]搭載基于零樣本學習的整體點云上采樣算法的手持設備

在審

• 申請號: 202210487619.4
• 申請日: 2022-05-06
• 公開（公告）號: CN114897692A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 蘇鵬;趙乾;張威
• 申請（專利權）人: 廣州紫為云科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T15/00;G06T17/00;G06V10/40;G06K9/62
• 代理公司: 廣州名揚高玥專利代理事務所(普通合伙) 44738
• 代理人: 趙麗

1.一種搭載基于零樣本學習的整體點云上采樣算法的手持設備的采樣方法，其特征在于，所述手持設備的采樣方法包括：將所述手持設備對準目標物體，圍繞物體做360°的掃描且盡量保持物體在圓心位置，在此過程中，不同角度掃描到的點云全部存儲到設備中，對掃描數據進行處理，通過合成、去噪算法將多個不同角度的點云合成為單個完整的點云χ^gt，，再通過設備自帶的上采樣算法，將所述單個完整的點云χ^gt進行上采樣，其中，采樣率為u，最后將得到的點云傳輸到其他設備端，進行重構、渲染、3D場景合成任務。

2.如權利要求1所述的一種搭載基于零樣本學習的整體點云上采樣算法的手持設備的采樣方法，其特征在于，所述手持設備的采樣方法包括：網絡對目標點云直接進行訓練，先對目標點云進行下采樣處理，作為輸入，由于下采樣的隨機性，該部份的輸入數量可根據處理速度任意改變，同時，以原始點云作為目標輸出，由網絡擬合出輸入和輸出映射關系，在測試階段，再以原始點云作為輸入，從而得到比原始點云更高分辨率的點云。

3.如權利要求2所述的一種搭載基于零樣本學習的整體點云上采樣算法的手持設備的采樣方法，其特征在于，生成對抗網絡模型：通過生成器生成上采樣點云，所述生成器由上采樣模塊(UE)、圖特征提取模塊(GFE)、多層感知器(MLP)模塊組成，所述生成器用于學習局部點之間的特征關系進行插值，通過鑒別器判斷由所述生成器生成的假(fake)點云和原始的真(real)點云之間的差別，再通過對抗損失函數中的鑒別器損失間接對生成器損失進行約束，從而使生成器的輸出趨于真實點云。

4.如權利要求3所述的一種搭載基于零樣本學習的整體點云上采樣算法的手持設備的采樣方法，其特征在于，所述上采樣算法包括：所述上采樣算法分別采用了重構(Reconstruction)、排斥(Repulsion)、均勻(Uniform)、對抗(Adversarial)損失函數(losses)來實現既定目標。

5.如權利要求4所述的一種搭載基于零樣本學習的整體點云上采樣算法的手持設備的采樣方法，其特征在于，Reconstruction loss函數通過學習網絡輸出(A)與目標點云(B)間點與點的對應關系完成對網絡輸出的重構；該函數可由Chamfer Distance模塊(CD模塊)和/或Earth Mover Distance模塊(EMD模塊)分別代入使用，其中，CD模塊計算的是點云A中每個點到點云B中每個點的最小距離以及B到A相同條件的平均值；EMD模塊計算的是把A中每個點移動到B的最小能量，這里，通過CD模塊用來計算輸入點云與輸出點云A之間的損失，而通過EMD模塊用來計算A和B之間的損失，在考慮了局部特征和整體特征的前提下，兩者同時對網絡的輸出進行重構，損失函數為：

其中，χ^u和χ^gt分別是A和B，u為上采樣系數，gt表示ground truth，φ為χ^u到χ^gt的映射函數，這里的χ^u和χ^gt含有相同數量的點。

6.如權利要求5所述的一種搭載基于零樣本學習的整體點云上采樣算法的手持設備的采樣方法，其特征在于，Repulsion loss函數將上采樣后過于臨近的點彼此推離，將計算出的特定點與周圍臨近點間的距離的負值進行優化，從而懲罰距離過近的點，損失函數為：

其中，η為懲罰函數，K為臨近點的個數，Nu為上采樣后點的個數。