[發明專利]一種點云彩色化算法

在審

• 申請號: 202011388120.5
• 申請日: 2020-12-01
• 公開（公告）號: CN112329799A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 李曉強;劉吉濤;戴松民
• 申請（專利權）人: 上海大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京化育知識產權代理有限公司 11833
• 代理人: 涂琪順

本發明公開了一種點云彩色化算法，首先將三維數據的格式由網格轉變為點云，然后對點云使用均勻采樣的方式獲取4096個點，并保留點云中的顏色和坐標信息，首先會將點云的三維坐標輸入到生成對抗網絡的生成器中，通過一系列的卷積運算，得到是否為真實的概率，兩個網絡相互對抗，不斷調整參數，最終得到判別器無法分辨真假的彩色化點云。通過生成對抗網絡的性質，使得生成的顏色越來越符合真實世界并且令判別器無法辨別真假。本發明旨在解決點云彩色化問題，即對點云數據進行上色，并且顏色符合于真實世界。

技術領域

本發明涉及一種將無色點云彩色化的算法，特別涉及一種點云彩色化算法。

背景技術

點云數據是一個三維系統中的一組向量的集合，通常以X,Y,Z三維坐標的形式表示，一般主要用來代表一個物體的形狀。點云可以將現實世界原子化，通過高精度的點云數據可以還原現實世界。主要是通過三維激光掃描儀進行數據采集獲取點云數據，其次通過二維影像進行三維重建，在重建過程中獲取點云數據，另外還有一些，通過三維模型來計算獲取點云。點云的應用極其廣泛，可用于測繪、自動駕駛、醫療等。

點云是一種重要的幾何數據結構。由于其不規則的格式，大多數研究人員將這些數據轉換為常規3D體素網格或圖像集合。然而，這會使數據不必要地大量增加并導致問題。Qi等人設計了一種新型神經網絡，它直接利用點云，并且很好地尊重輸入點的置換不變性。為從對象分類，部件分割到場景語義分析等應用提供統一的體系結構。

二維圖像彩色化問題是如今計算機視覺的一個熱門領域。為了生成高質量的著色方案，Cheng等人受近年來卷積神經網絡的成功啟發，重新闡述了彩色化問題，使深度學習技術可以直接應用于大規模數據的建模。為了確保無偽影問題，提出了一個基于雙邊過濾的聯合后處理步驟。從而進一步發展了一種自適應的圖像聚類技術來融合全局圖像信息。而Phillip等人提出的基于生成對抗網絡的圖像彩色化方案指出，圖像顏色的預測本質上是多模態的，也就是說，許多對象可以進行幾種合理的著色，因此該方案不一定恢復對象的原始顏色信息，而是生成符合真實世界的合理顏色。為了確保顏色的真實，將黑白圖像輸入至生成對抗網絡的生成器，通過不斷與判別器對抗從而獲得真實的彩色圖像。

當前圖像彩色化方案僅僅適用于二維圖像，無法直接應用于點云數據。Cheng等人提出的圖像彩色化方案只能應用于二維圖像，由于點云與圖像數據結構的差異，無法直接將現有的結構應用于點云數據彩色化。Qi等人設計的直接處理點云的結構目前僅僅可以為對象分類、部件分割到場景語義分析等應用提供統一的體系結構，在點云彩色化應用中得不到令人滿意的結果。

發明內容

本發明的目的在于提供一種點云彩色化算法，基于生成對抗網絡的方法模仿已有的點云樣本，生成出顏色符合真實世界的彩色點云，可以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

一種點云彩色化算法，包括如下步驟：

步驟1：三維數據的預處理；

首先將三維數據的格式由網格轉變為點云，然后對點云使用均勻采樣的方式獲取4096個點，并保留點云中的顏色和坐標信息；

步驟2：訓練可以得到真實顏色的生成對抗網絡

使用生成對抗網絡來實現點云彩色化的目標，首先會將點云的三維坐標輸入到生成對抗網絡的生成器中，通過一系列的卷積運算，得到對應于輸入坐標(x,y,z)的顏色信息(r`,g`,b`)，將得到的顏色信息(r`,g`,b`)與生成器的輸入(x,y,z)一同送入生成對抗網絡的判別器中，經過一系列的卷積運算得到是否為真實的概率，與此同時將真實的顏色信息(r,g,b)與生成器的輸入(x,y,z)也一同送入生成對抗網絡的判別器中，經過一些列卷積運算得到是否為真實的概率，兩個網絡相互對抗，不斷調整參數，最終得到判別器無法分辨真假的彩色化點云。