[發明專利]一種利用生成對抗網絡進行稠密點云補全的算法

有效

• 申請號: 202110768864.8
• 申請日: 2021-07-07
• 公開（公告）號: CN113379646B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 李淵;陳一平;李國艷;程明;王程;李軍;黃競雄
• 申請（專利權）人: 廈門大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T17/20;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶

1.一種利用生成對抗網絡進行稠密點云補全的方法，其特征在于，包括以下步驟：

S1、設定生成器，將ShapeNet中深度圖反投影的缺失點云輸入Encoder_C編碼器提取特征，得到高維全局特征向量GFV_x；

S2、利用生成器將目標點云經過Encoder_N-DPC編碼器，得到高維全局特征向量CFV_y；

S3、利用生成對抗網絡在高維全局特征向量空間訓練，實現x→y之間的“風格遷移”；

步驟S3中使用判別器用于判別高維全局特征向量來源于目標點云還是生成器，具體步驟為：將1024維度的全局特征向量分為每個維度為d的特征向量，設置d為128，每個小的特征向量之間不重疊，共8個特征向量128×8＝1024，具體為[1:128,129:256,…,897:1024]；再將特征向量分別經過基于全連接層的判別器進行判斷得到[o1,o2,…,o8]，對所有結果求均值獲得最終輸出；所述判別器的結構是輸出維度為128，64和1的全連接層；

S4、從生成器生成的新特征向量GFV_G(x)通過解碼器Decoder_N-DPC補全得到稠密點云。

2.如權利要求1所述的一種利用生成對抗網絡進行稠密點云補全的方法，其特征在于，步驟S1中Encoder_C解碼器得到高維全局特征向量CFV_x通過以下步驟實現：

S11、將編碼器經ShapeNet數據集訓練得到Encoder_C編碼器；將解碼器經訓練得到Decoder_C解碼器；

S12、將輸入的缺失點云標記為P_i(x₁,y₁,z₁)，其中i＝1,...,N，N表示點云的總數量，x₁、y₁和z₁表示點云的三維坐標信息；將輸入的N個點的三維坐標信息輸入結構為(128，256)的多層感知機中得到[N×256]的點云特征信息f，其中點云特征信息f中的每一行都代表一個點的特征信息，利用最大池化得到維度為[1×256]的特征向量g；

S13、將特征向量g經過復制操作并且和點云特征信息f連接得到維度為[N×512]的點云特征信息F；

S14、將點云特征信息F輸入Self-attention注意力機制得到賦予每個點特征不同權重的新點云特征F′，新點云特征F′的特征維度保持為[N×512]；

S15、經過一個結構為(512，1024)的多層感知機以及最大池化操作得到最終的全局特征向量G，全局特征向量G的特征維度為[1×1024]；

S16、將點云特征信息F輸入三個不同的多層感知機，分別得到特征G′、H和K，利用G′和H得到不同特征的分配權重W，權重W的計算公式如下：

W＝f_softmax(G^TH)

其中，G^T表示特征G′的轉置矩陣，即對于G′中的每一個元素G_i,j(i＝1,…,m；j＝1,…,n)轉置之后變為G_j,i(j＝1,…,n；i＝1,…,m)，f_softmax函數將數值歸一化到0-1之間；再將得到的權重W和K相乘計算出帶有權重的特征，并且結合輸入的點云特征信息F得到信息更加豐富的點云特征F′。

3.如權利要求2所述的一種利用生成對抗網絡進行稠密點云補全的方法，其特征在于：所述生成器在特征向量空間采用全連接層，利用不同層之間的跳躍連接生成新的向量，使其共享更多的有效信息；所述生成器利用高維全局特征向量GFV_x重新生成新的高維全局特征向量GFV_G(x)。