[發明專利]一種基于深度學習的三維點云重建方法

有效

• 申請號: 202110370551.7
• 申請日: 2021-04-07
• 公開（公告）號: CN113096239B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 雷建軍;宋嘉慧;彭勃;于增瑞
• 申請（專利權）人: 天津大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于深度學習的三維點云重建方法，其特征在于，所述方法包括：

學習每個輸入圖像的視覺信息，通過特征編碼器，每個輸入圖像被編碼為潛在特征表示，點云預測器根據輸入的潛在特征表示，預測出三維點云的坐標信息；

每個分支以對應特征編碼器輸出的潛在特征表示作為輸入，學習結合了其他分支信息的互補特征；通過應用跨視圖交互單元，每個稀疏點云重建子網捕獲跨視圖的互補信息，反饋給點云預測器生成一個相對完整的稀疏點云S_i∈R^N×3，其中N表示稀疏點云中點的數量；

構建由多個點云特征提取子網、全局引導的特征學習子網和生成層組成的全局引導的稠密點云重建模塊，每個點云特征提取子網由一系列共享權重的多層感知機組成，所述多層感知機從生成的稀疏點云中提取點云特征；

采取倒角距離損失作為幾何一致性約束，并構建了語義一致性約束來優化稠密點云的生成；

其中，所述每個分支以對應特征編碼器輸出的潛在特征表示作為輸入，學習結合了其他分支信息的互補特征具體為：

特征編碼器輸出的潛在特征表示f_i被送入級聯層，而其他分支的輸入先經過卷積核大小為3×3的卷積層進行自適應學習，再送入到同一個級聯層；通過級聯操作，將不同分支學習到的特征沿著通道維進行連接，然后，將交互后的特征輸入到卷積核大小為3×3的卷積層中，得到最終的跨視圖互補特征

c_i＝Conv([Conv(f₁),…,Conv(f_i-1),f_i,Conv(f_i+1),…,Conv(f_V))]

其中，Conv(·)表示卷積操作，[，]表示級聯操作。

2.根據權利要求1所述的一種基于深度學習的三維點云重建方法，其特征在于，所述方法包括：

基于全局引導特征，在每個點云特征提取子網中應用全局引導機制，利用圖像引導信息引導點云特征提取過程；

全局引導機制通過多個引導塊的執行將M級全局引導特征引入到每個點云特征提取子網中，每個引導塊由一個連接層和一個SMLP組成；

第m個制導塊的輸出為提取的第m級點云特征其中K_m表示特征的通道維數；表示為：

其中，當m＝1時

基于獲得的第M級點云特征使用一個級聯和一組多層感知機層對進行稠密點云D∈R^(V×N)×3的重建：

其中，MLPs(·)表示多層感知機層，用于將融合后的點云特征投影到三維空間，S_V表示第V個輸入視圖重建出的稀疏點云。

3.根據權利要求1所述的一種基于深度學習的三維點云重建方法，其特征在于，所述方法采用余弦一致性函數構建語義一致性約束。