[發明專利]基于多視點視頻的復雜動態人體對象三維重建方法及系統

在審

• 申請號: 201711433635.0
• 申請日: 2017-12-26
• 公開（公告）號: CN107945269A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 劉燁斌;王金寶;戴瓊海;呂科
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80;G06T7/10
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 張潤

1.一種基于多視點視頻的復雜動態人體對象三維重建方法，其特征在于，包括以下步驟：

對目標人體對象進行多視點拍攝，獲得在同一時刻下的多視點二維圖像；

利用深度網絡學習后的深度神經網絡模型分別對每個視點的二維圖像序列中的人體各部分進行預測，分割出目標人體對象的輪廓信息和人體對象的骨架信息；

利用標定后的每個視點的相機內參和外參信息，結合分割后的所述目標人體對象的輪廓信息和所述人體對象的骨架信息，進行人體的三維建模。

2.根據權利要求1所述的基于多視點視頻的復雜動態人體對象三維重建方法，其特征在于，所述對目標人體對象進行多視點拍攝，獲得在同一時刻下的多視點二維圖像，包括：

將多個視角的攝像頭架設在人體對象周圍，并對準在人體對象運動范圍之內，保證攝像頭一致，以獲得在同一時刻下的多視點二維圖像。

3.根據權利要求1所述的基于多視點視頻的復雜動態人體對象三維重建方法，其特征在于，所述利用深度網絡學習后的深度神經網絡模型分別對每個視點的二維圖像序列中的人體各部分進行預測，分割出目標人體對象的輪廓信息和人體對象的骨架信息，包括：

利用深度卷積神經網絡DPM對人體的各部分關節點進行預測；

利用深度卷積神經網絡LIP對人體的各身體部分進行預測，獲得人物輪廓信息。

4.根據權利要求3所述的基于多視點視頻的復雜動態人體對象三維重建方法，其特征在于，在所述利用深度卷積神經網絡LIP對人體的各身體部分進行預測時，利用自己網絡預測的關節點響應圖同真實響應圖計算損失loss，其中，

LJoint=12NΣi=1N||cip-cigt||22,]]>

L_structure＝L_Joint·L_Parsing，

其中，L_Structure是結構損失，是整個網絡的損失，是網絡預測值，是真實標簽值，L_Parsing是softmaxloss，L_Joint是關節點預測值與真實值之間的損失。

5.根據權利要求1所述的基于多視點視頻的復雜動態人體對象三維重建方法，其特征在于，所述利用標定后的每個視點的相機內參和外參信息，結合分割后的目標人體對象的輪廓信息和人體對象的骨架信息，進行人體的三維建模，包括：

對每個視角拍攝的相機進行標定，獲得每個相機的內參和外參信息；

利用目標人體對象的輪廓信息，遍歷空間模型中的每個點，確定是否屬于人體對象；

如果空間的點投影到多個二維平面視圖中都在人體對象輪廓內，則認為相應的點屬于三維人體對象，直到遍歷空間中的每個點，獲得最終的人體的三維建模。

6.一種基于多視點視頻的復雜動態人體對象三維重建系統，其特征在于，包括：

拍攝模塊，用于對目標人體對象進行多視點拍攝，獲得在同一時刻下的多視點二維圖像；

信息獲取模塊，用于利用深度網絡學習后的深度神經網絡模型分別對每個視點的二維圖像序列中的人體各部分進行預測，分割出目標人體對象的輪廓信息和人體對象的骨架信息；

三維重建模塊，用于利用標定后的每個視點的相機內參和外參信息，結合分割后的所述目標人體對象的輪廓信息和所述人體對象的骨架信息，進行人體的三維建模。