[發明專利]一種基于符號距離函數的三維重建方法

在審

• 申請號: 202011227999.5
• 申請日: 2020-11-06
• 公開（公告）號: CN112184899A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 周曉豪;朝紅陽
• 申請（專利權）人: 中山大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T5/00;G06K9/62;G06N3/04;G06N3/08;G06N20/20
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 王曉玲

1.一種基于符號距離函數的三維重建方法，其特征在于，包括以下步驟：

S1.采集訓練數據；

S2.選取關鍵幀作為訓練集；

S3.對關鍵幀的深度圖進行數據去噪；

S4.對多幀深度圖進行采樣，包括物體表面附近的法向上采樣；

S5.進行點云歸一化處理；

S6.數據輸入SDF函數的深度學習網絡進行訓練，得到一個更接近原物體的SDF函數；

S7.根據深度神經網絡進行重構，得到準確的幾何結構的模型。

2.根據權利要求1所述的基于符號距離函數的三維重建方法，其特征在于，所述的采集訓練數據的方法具體包括：使用RGBD相機采集多幀的目標物體的RGBD信息。

3.根據權利要求2所述的基于符號距離函數的三維重建方法，其特征在于，所述的選取關鍵幀的方法具體包括：根據RGB信息選取適量最能表征物體完整形狀的幀，并找到對應的深度圖，以此作為訓練集。

4.根據權利要求3所述的基于符號距離函數的三維重建方法，其特征在于，所述的數據去噪的方法包括：利用雙邊濾波對訓練集的每一幀深度圖進行去噪。

5.根據權利要求4所述的基于符號距離函數的三維重建方法，其特征在于，所述的步驟S4具體包括：

S41.計算每個深度圖上每個點的法向量；

S42.根據S41得到的法向量，在該方向上隨機采樣四個值，即作為SDF值，得到采樣點P_c，并將采樣點投影到世界坐標系，P_w＝R_wcP_c+t_wc，其中R_wc,t_wc分別是由相機坐標系轉到世界坐標系下的旋轉矩陣和位移，將所有的采樣點的世界坐標P_w合并作為ground truth。

6.根據權利要求5所述的基于符號距離函數的三維重建方法，其特征在于，所述的步驟S41具體包括：

S411.對于深度圖上任意一點(u,v)，將其投影到相機坐標系下，即采用以下公式其中Z為深度，為相機的內參矩陣，其中，f_x和f_y是焦距，c_x和c_y是相對于成像平面的主點坐標；

S412.將S411的投影關系簡記為π(.)，則(u,v)在相機坐標系下的法向方向為normal(u,v)＝[π(u+1,v)-π(u,v)]×[π(u,v+1)-π(u,v)]；

S413.對得到的法向量的方向進行調整，保證normal(u,v)·π(u,v)＞＝0，目的是使物體表面法向量的正向方向是有沿著光線方向的分量，確保采樣點的SDF值的符號絕對正確；

S414.對得到的法向量進行歸一化，即得到該方向上的單位向量

normlized_normal(u,v)＝normal(u,v)/norm(normal(u,v))。

7.根據權利要求6所述的基于符號距離函數的三維重建方法，其特征在于，所述的步驟S5具體包括：

S51.利用重心平移實現點云平移歸一化，首先計算點云的重心n代表點云個數，P_i為點云的第i個點；然后將點云的每個點都跟隨著重心移動，每個點平移后的坐標為P_i′＝P_i-P_center,i＝1,2,…,n；

S52.計算所有坐標值的絕對值的最大值其中P_i′[j]代表P_i′第j維的坐標值，進而得到最終歸一化的坐標，

P_i″＝P_i′/M,P_i″∈[-1,1]³,i＝1,2,…,n。