[發明專利]實時三維人體重建的紋理渲染方法、系統、芯片、設備和介質

在審

• 申請號: 202010020056.9
• 申請日: 2020-01-08
• 公開（公告）號: CN111243071A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 楊文康;朱煜;張迎梁
• 申請（專利權）人: 疊境數字科技（上海）有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/04;G06T15/50;G06T13/40
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 李艷梅

1.一種實時三維人體重建的紋理渲染方法，其特征在于包括：

S1，獲取拍攝對象的當前人體模型和深度圖像；

S2，選取一個當前人體模型作為標準模型，將其頂點重投影至深度圖像，提取頂點對應的顏色信息及圖像坐標，該顏色信息為顏色初始值，圖像坐標轉換成紋理坐標；

S3，將后續的人體模型同樣進行S2操作，并將其頂點的顏色信息與顏色初始值計算加權和，作為標準模型頂點的新顏色；

S4，計算當前人體模型的子紋理貼圖和子掩膜，并將紋理貼圖和掩膜分別組合成完整的紋理圖和掩膜；最終根據紋理圖、紋理坐標進行渲染。

2.根據權利要求1所述的實時三維人體重建的紋理渲染方法，其特征在于：S4中，基于改進的泊松融合，用所生成的掩膜對紋理圖進行優化，以去除從各個視角取顏色帶來的顏色差異和裂縫，最終平滑顏色過渡區域。

3.根據權利要求1或2所述的實時三維人體重建的紋理渲染方法，其特征在于：S1中，通過多目相機系統同步采集拍攝對象的彩色圖像和深度圖像。

4.根據權利要求3所述的實時三維人體重建的紋理渲染方法，其特征在于：利用dynamic fusion對彩色圖像和深度圖像優化，生成準確真實的當前人體模型。

5.根據權利要求3所述的實時三維人體重建的紋理渲染方法，其特征在于：所述多目相機系統為三個以上能實現同步拍攝的深度相機組。

6.根據權利要求5所述的實時三維人體重建的紋理渲染方法，其特征在于：所述深度相機組為呈環形均勻分布的六個微軟Azure Kinect相機。

7.根據權利要求1所述的實時三維人體重建的紋理渲染方法，其特征在于：S2中，選取首個生成的當前人體模型作為全局標準模型，且該模型為動畫模型,即模型的拓撲結構發生變化時，兩模型頂點也可以根據索引一一對應。

8.根據權利要求1所述的實時三維人體重建的紋理渲染方法，其特征在于：S2中，對標準模型對模型進行網格劃分。

9.根據權利要求8所述的實時三維人體重建的紋理渲染方法，其特征在于：所述網格劃分為：假設每個三角面片的分辨率為R，分辨率為1時，則表示不劃分該面片；當分辨率R大于1時，則對網格進行劃分，產生的頂點數量則為(R+1)*(R+2)/2，面片數量為R²；新劃分的頂點坐標通過重心坐標系確定，即為三個原頂點坐標的加權和，其權重為(0≤i≤R且0≤j≤R-i)。

10.根據權利要求1、8、9任一所述的實時三維人體重建的紋理渲染方法，其特征在于：重投影獲得的頂點顏色循環地與該頂點顏色初始值進行融合，融合策略如下：

W_i(p)←min(W_i(p)+w_i(p),w_max)

其中，A_i為頂點顏色初始值，W_i為頂點現有顏色累積權重，a_i為頂點當前重投影顏色，w_i為頂點重投影顏色的權重。