[發明專利]搭載基于零樣本學習的整體點云上采樣算法的手持設備

在審

• 申請號: 202210487619.4
• 申請日: 2022-05-06
• 公開（公告）號: CN114897692A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 蘇鵬;趙乾;張威
• 申請（專利權）人: 廣州紫為云科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T15/00;G06T17/00;G06V10/40;G06K9/62
• 代理公司: 廣州名揚高玥專利代理事務所(普通合伙) 44738
• 代理人: 趙麗

本發明公開了一種搭載基于零樣本學習的整體點云上采樣算法的手持設備的采樣方法，所述手持設備的采樣方法包括：將所述手持設備對準目標物體，圍繞物體做360°的掃描且盡量保持物體在圓心位置，在此過程中，不同角度掃描到的點云全部存儲到設備中，對掃描數據進行處理，通過合成、去噪算法將多個不同角度的點云合成為單個完整的點云χ^gt，再通過設備自帶的上采樣算法，將所述單個完整的點云χ^gt進行上采樣，其中，采樣率為u，最后將得到的點云傳輸到其他設備端，進行重構、渲染、3D場景合成任務。

技術領域

本發明涉及計算機視覺領域，尤其涉及一種搭載基于零樣本學習的整體點云上采樣算法的手持設備。

背景技術

現有點云加密算法大多采用監督式學習的方式對大量數據進行訓練。這些訓練數據先被分成不同的patch，以模擬測試階段對測試點云中不同patch的還原。然而這種作法不具備廣泛性，受限于數據量，無法兼顧到所有形狀、尤其是復雜形狀的點云。所以需要創新性的解決方案來突破原有的限制，來實現訓練數據不足或樣本形狀復雜時的零樣本自訓練加密算法。

本發明適用于復雜場景中對掃描得到的點云直接進行上采樣，無需除自身外的任何樣本。該算法可被集成于手持設備中，無需進行基于patch的算法中的額外復雜配置，如patch個數和patch中點的個數等。對于復雜形狀，該算法可準確進行在形狀變化較大部位的上采樣，更可靠地還原點云局部位置信息。該算法自訓練速度是傳統算法訓練速度的至少10000倍。

用戶可以基于本發明，快速全方位掃描目標物體，利用低成本的激光雷達，自動輸出高分辨率的點云。用戶后期可根據該點云進行mesh重構和場景渲染等工作。

發明內容

該算法需搭載在特定設備上，如攜帶激光雷達的手機、手持激光掃描儀等。將以上設備對準目標物體，圍繞物體做360°的掃描且盡量保持物體在圓心位置。在此過程中，不同角度掃描到的點云全部存儲到設備中。通過合成、去噪等算法，將多個不同角度的點云合成為單個完整的點云χgt。通過設備自帶的上采樣算法，將χgt進行上采樣，采樣率為u。最后得到的點云可以傳輸到其他設備端，進行重構、渲染、3D場景合成等任務。

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明公開一種搭載基于零樣本學習的整體點云上采樣算法的手持設備的采樣方法，所述手持設備的采樣方法包括：將所述手持設備對準目標物體，圍繞物體做360°的掃描且盡量保持物體在圓心位置，在此過程中，不同角度掃描到的點云全部存儲到設備中，對掃描數據進行處理，通過合成、去噪算法將多個不同角度的點云合成為單個完整的點云χ^gt，，再通過設備自帶的上采樣算法，將所述單個完整的點云χ^gt進行上采樣，其中，采樣率為u，最后將得到的點云傳輸到其他設備端，進行重構、渲染、3D場景合成任務。

更近一步地，所述手持設備的采樣方法包括：網絡對目標點云直接進行訓練，先對目標點云進行下采樣處理，作為輸入，由于下采樣的隨機性，該部份的輸入數量可根據處理速度任意改變，同時，以原始點云作為目標輸出，由網絡擬合出輸入和輸出映射關系，在測試階段，再以原始點云作為輸入，從而得到比原始點云更高分辨率的點云。

更近一步地，生成對抗網絡模型：通過生成器生成上采樣點云，所述生成器由上采樣模塊(UE)、圖特征提取模塊(GFE)、多層感知器(MLP)模塊組成，所述生成器用于學習局部點之間的特征關系進行插值，通過鑒別器判斷由所述生成器生成的假(fake)點云和原始的真(real)點云之間的差別，再通過對抗損失函數中的鑒別器損失間接對生成器損失進行約束，從而使生成器的輸出趨于真實點云。

更近一步地，所述上采樣算法包括：所述上采樣算法分別采用了重構(Reconstruction)、排斥(Repulsion)、均勻(Uniform)、對抗(Adversarial)損失函數(losses)來實現既定目標。