[發明專利]基于動態融合算法的人體彩色三維重建方法

在審

• 申請號: 202010852287.6
• 申請日: 2020-08-22
• 公開（公告）號: CN111968238A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 嚴群;姚劍敏;林堅普
• 申請（專利權）人: 晉江市博感電子科技有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/55;G06T7/80;G06T7/90;G06T5/00
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 尹麗華

1.一種基于動態融合算法的人體彩色三維重建方法，其特征在于，所述方法包括：

步驟S1、對Kinect相機進行標定得到相機內參矩陣，控制所述Kinect相機獲取包含人體的重建場景中的彩色數據流和深度數據流；

步驟S2、根據所述彩色數據流和所述深度數據流，將相機視角范圍內的三維場景以三維體表示，并將所述三維體分割成N*N*N個體素；根據所述體素，從體積模型中提取出形變節點集合，并通過構建誤差函數，最小化誤差函數估計出形變節點運動；所述N為正整數；所述體素中包含有人體模型的表面信息以及彩色數據；各個所述體素中包含2個數值[v(x),w(x)]，v(x)表示所述體素的點中心位置到重建的人體表面的距離，w(x)表示所述體素的權重值；

步驟S3、通過移動立方體算法，從關鍵幀模型中提取模型的三維網格面片，通過查找距離各個所述三維網格面片最近的所述體素，將所述體素中的彩色數據作為面片的顏色信息，重建出帶有彩色信息的網格模型。

2.如權利要求1所述的一種基于動態融合算法的人體彩色三維重建方法，其特征在于，所述步驟S1還包括：

步驟S11、根據所述深度數據流，讀取深度圖像幀，對當前幀上的每一個像素進行遍歷，找到深度值為0的像素并確定為候選濾波像素；

步驟S12、以候選濾波像素為中心定義一個兩層濾波器；其中，所述兩層濾波器包括環繞所述候選濾波像素中心的3*3環形像素的第一像素層以及環繞所述第一像素層的5*5環形像素的第二像素層；

步驟S13、通過將所述濾波器的所述第一像素層與所述第二像素層的深度值做統計，每層框內深度值不為0的像素點個數；

步驟S14、響應于所述第一像素層深度值不為0的像素個數大于第一預設值且所述第二像素層深度值不為0的像素個數大于第二預設值，則保留所述中心像素點，并以所述第二像素層深度值的中位數作為所述中心像素點的深度值；反之，將所述中心像素點過濾。

3.如權利要求1所述的一種基于動態融合算法的人體彩色三維重建方法，其特征在于，所述步驟S1還包括：

根據所述人體的站立位置，對所述深度圖像進行濾波；所述濾波操作滿足：

其中f(x,y)是深度圖像中像素坐標為(x,y)的深度值，所述人體可站立位置的深度范圍為[τ₁,τ₂]。

4.如權利要求1所述的一種基于動態融合算法的人體彩色三維重建方法，其特征在于，所述步驟S1還包括：

對所采集的所述深度圖像和所述彩色圖像進行對齊處理。

5.如權利要求1所述的一種基于動態融合算法的人體彩色三維重建方法，其特征在于，所述步驟S3還包括：

獲取所述體積模型空間中的各個體素的三維坐標x_c；

通過非剛體形變函數將所述三維坐標x_c轉換到當前幀的相機坐標系下得到x_t；

將所述x_t通過相機的投影變換得到在彩色圖像中的對應的像素坐標u_c；

如果u_c在相機的視角之內，則將該像素點的RGB值進行融合；反之，所述體素的保存的彩色信息值不變。

6.如權利要求1所述的一種基于動態融合算法的人體彩色三維重建方法，其特征在于，所述步驟S2還包括：

步驟S21、定義非剛體形變函數W(x_c)；W(x_c)＝SE3(DBQ(x_c))；其中，x_c表示體素的三維坐標，SE3()表示將對偶四元數轉化成為變換矩陣,對偶四元數可以同時表示空間的旋轉和平移；所述體素的對偶四元素形變變換DBQ(x_c)滿足：各個所述形變節點的權重w_k(x_c)滿足：w_i表示k個最鄰近形變節點中的第i個節點的權重，通過該形變節點與x_c之間的距離來定義；q_k表示x_c相鄰的形變節點的對偶四元素，所述N(x_c)為形變節點集合。