[發明專利]重建動態物體的表面優化方法及裝置

有效

• 申請號: 201811150607.2
• 申請日: 2018-09-29
• 公開（公告）號: CN109360268B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 徐楓;鄭成偉
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/55
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種重建動態物體的表面優化方法，其特征在于，包括以下步驟：

通過單個手持RGBD相機采集重建物體的彩色圖像序列和深度圖像序列；

根據所述彩色圖像序列和所述深度圖像序列對于每一幀求解當前相機位置，并獲取所述重建物體的運動以及環境光照，并使用融合的方式來更新物體當前的幾何信息和表面信息；

根據清晰度從所述彩色圖像序列中挑選出多個關鍵幀，并對所述多個關鍵幀的像素進行優化，以使優化后的顏色圖像在像素塊上與原始輸入的顏色圖滿足預設條件，同時在不同幀中物體的同一個表面點的顏色一致；以及

將所述重建物體的幾何信息進行加密，以充分利用分辨率滿足預設值的顏色圖，并將每一個關鍵幀優化后的所述顏色圖反投影回物體，以得到所述重建物體的幾何與表面；

所述優化后的顏色圖像的計算公式為：

E₂(T，M)＝ω_sE_s(T)+ω_TE_T(T)+ω_ME_M(T，M)，

其中，ω_S、ω_T、ω_M分別為三項的權重系數，E_S項和E_T項度量S_i和T_i之間的差距，函數D(s,t)是相同尺寸的像素塊s和t的差異度，定義為各個像素顏色差值的平方和，T_j(y_j)為像素，E_M為顏色一致項，要求物體同一表面點在不同視角下所看到的顏色一致，要求M_i(x_i)顏色與不同視角的對應像素T_j(y_j)顏色相接近，M_i表示當前優化得到的表面在S_i視角下的圖像，y_j是M_i中的像素x_i在S_j視角下的對應像素，對應物體相同的表面點，對應關系通過之前求解的每一幀的運動計算得到，M_i(x_i)-T_j(y_j)為x_i與y_j顏色值的差，W_j(_j)為y_j的可信度，是其法向與S_j視線夾角余弦的平方。

2.根據權利要求1所述的重建動態物體的表面優化方法，其特征在于，所述重建物體的幾何信息通過體素空間中的截斷有向距離函數方法來進行表示，體素的運動由周圍稀疏節點的運動加權求和得到，運動使用雙四元混合數表達，并且所述環境光照使用球諧函數表示，在已知光照時由反射率和表面法向求得物體表面的顏色。

3.根據權利要求1或2所述的重建動態物體的表面優化方法，其特征在于，所述根據所述彩色圖像序列和所述深度圖像序列對于每一幀求解當前相機位置，并獲取所述重建物體的運動以及環境光照，并使用融合的方式來更新物體當前的幾何信息和表面信息，包括：

通過迭代最近點算法估計所述當前相機位置；

構造勢能函數對運動W和光照L進行聯合求解，勢能函數包含兩個數據項和兩個正則項。