[發明專利]一種大范圍實時人體三維重建方法

有效

• 申請號: 201711403509.0
• 申請日: 2017-12-22
• 公開（公告）號: CN108122281B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 向宇
• 申請（專利權）人: 洛陽中科眾創空間科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 洛陽公信知識產權事務所(普通合伙) 41120
• 代理人: 魏新培

1.一種大范圍實時人體三維重建方法，其特征在于：該方法包括如下步驟：

步驟一、數據采集：通過多臺400萬像素高清紅外工業相機采集場景中的人體圖像，采用八組相機每組生成400萬個深度數據，并且對采集的人體圖像進行如下處理：

(1)、通過兩兩相機間標定相機參數計算視差獲得整個場景各個角度的深度信息，再經過拼接算法將多角度深度信息數據計算為整個場景的三維空間數據，通過深度信息計算出當前幀數據，并在當前幀數據中提取用于變形的關鍵幀數據，之后采用Marching Cube方法計算當前幀數據和提取的關鍵幀數據得到當前幀模型和關鍵幀模型；

其中，所述通過深度信息計算出當前幀數據的具體實現步驟如下：

T1、將深度信息轉化為相對于相機坐標系下的光線尺寸信息，所述光線尺寸信息為相機光心到每個像素所對應的物體表面的距離信息；

T2、建立空間距離信號場SDF，將光線尺寸信息投射到SDF中，在每個空間位置產生一個距離誤差信息，所述距離誤差信息為光線尺寸信息與光心到SDF對應位置的距離之差，之后通過閾值截斷不符合要求的距離誤差信息，并把保留下來的距離誤差信息填充到SDF對應的位置，此時的SDF即為當前幀數據；

T3、對步驟T2得到的當前幀數據中第一幀以及之后時序中上一個關鍵幀數據變形點少于閾值要求的當前幀數據進行記錄，將其存儲為關鍵幀數據；

(2)、生成RGB對應信息，RGB對應信息用于描述相鄰兩幀RGB圖像中的對應點；

(3)、計算生成前景部分和背景部分的分割圖，用于生成可視殼模型；

步驟二、運動變形：根據下一幀當前幀模型的變化對上一幀生成的關鍵幀模型進行變形，直到上一幀生成的關鍵幀模型變形到與下一幀當前幀模型的姿態相同時停止運動變形；所述運動變形包括如下步驟：

S1、對步驟一得到的關鍵幀模型的頂點采樣得到變形點；

S2、對變形點變形參數初始化，得初始化之后的變形參數；

S3、采用高斯牛頓法將初始化之后的變形參數通過變形能量函數進行優化，具體包括如下步驟：

S31、運動變形模塊初始化；

S32、計算變形能量誤差，所述變形能量誤差為E_con、E_rot、E_smooth、E_hull、E_rgb；

S33、通過對不同的變形能量誤差附以不同的權重生成變形能量函數：

E(G)＝θ_conE_con+θ_conE_rot+θ_conE_smooth+θ_conE_hull+θ_conE_rgb

其中，E_con為關鍵幀模型中每個頂點與當前幀模型中每個對應頂點的空間距離誤差，E_rot為每個變形點中變形矩陣G的正則化誤差，E_smooth為變形點與相鄰k個變形點之間的分布平滑度誤差，E_hull為關鍵幀模型中每個頂點分布在可視殼外部所產等的誤差，E_rgb為rgb圖像中前一幀和當前幀模型對應點投射到空間所產生的距離誤差。

S4、采用優化后的變形參數對關鍵幀數據進行非剛性對齊和變形；

步驟三、數據融合：將步驟二變形后的關鍵幀數據與模型當前幀數據進行融合，并采用Marching Cube方法對融合后的數據進行計算，得到制作完成的模型，通過模型變化展示動作；

本方法所述計算均采用GPU并行計算

2.如權利要求1所述的一種大范圍實時人體三維重建方法，其特征在于：步驟一所述可視殼模型的生成方法為：計算相機坐標系下的光線軌跡，篩選掉分割圖中屬于背景部分的光線所經過的空間區域，獲得空間中屬于前景部分的空間區域，得可視殼模型。