[發明專利]多視角相機下的復雜動態場景人體三維重建方法及裝置

在審

• 申請號: 201711433631.2
• 申請日: 2017-12-26
• 公開（公告）號: CN108053469A
• 公開（公告）日: 2018-05-18
• 發明（設計）人: 劉燁斌;王金寶;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種多視角相機下的復雜動態場景人體三維重建方法，其特征在于，包括以下步驟：

對目標人體對象進行多視點拍攝，以獲得在同一時刻下的多視點二維圖像；

通過深度網絡學習后的模型對視頻序列中的人體各部分進行預測，以獲取人體的人體骨架信息；

根據所述骨架信息并通過虛擬的三維人體模型去匹配圖像中人物的動作和大致輪廓，以獲得人體的人體輪廓信息；以及

利用標定后的各視點相機內外參信息，并結合所述人體骨架信息和所述人體輪廓信息，采用Visual Hull方法進行人體三維建模。

2.根據權利要求1所述的多視角相機下的復雜動態場景人體三維重建方法，其特征在于，所述對目標人體對象進行多視點拍攝，以獲得在同一時刻下的多視點二維圖像，進一步包括：

將多個角度的攝像頭架設在人體對象周圍，并對準在人體對象運動范圍之內，并保證所述多個角度的攝像頭一致。

3.根據權利要求1所述的多視角相機下的復雜動態場景人體三維重建方法，其特征在于，所述獲取人體的人體骨架信息，進一步包括：

利用深度卷積神經網絡對人體的關節點進行預測，并聯合多個角度求出在三維空間中的所述人體骨架信息。

4.根據權利要求3所述的多視角相機下的復雜動態場景人體三維重建方法，其特征在于，所述獲得人體的人體輪廓信息，進一步包括：

對單角度圖片進行背景減操作，以獲得人物的位置，并通過圖割方法確定的關節點作為模板的前景點，人物背景減后獲得的區域為待分割區域，其他區域作為模板的背景點進行分割，從而獲得分割結果；

將smpl作為人物模型，檢測出的所述關節點為輸入，解一個全局最小的優化問題，使得初始的三維人體模型匹配到人物動作上，以將匹配后的人物模型輪廓作為前面分割的補充，得到所述人體輪廓信息。

5.根據權利要求2所述的多視角相機下的復雜動態場景人體三維重建方法，其特征在于，所述采用Visual Hull方法進行人體三維建模，進一步包括：

對多個角度的攝像頭進行標定，獲得每個相機的內外參信息對場景進行空間模型；

利用所述Visual Hull方法，利用多個視圖下的所述人體輪廓信息，遍歷空間模型中的每個點，確定是否屬于人體對象，如果空間點投影到多個二維平面視圖中都在人體對象輪廓內，則認為屬于三維人體對象，直到遍歷完空間中的每個點，獲取最終的三維人體模型。

6.一種多視角相機下的復雜動態場景人體三維重建裝置，其特征在于，包括：

采集模塊，用于對目標人體對象進行多視點拍攝，以獲得在同一時刻下的多視點二維圖像；

預測獲取模塊，用于通過深度網絡學習后的模型對視頻序列中的人體各部分進行預測，以獲取人體的人體骨架信息；

匹配獲取模塊，用于根據所述骨架信息并通過虛擬的三維人體模型去匹配圖像中人物的動作和大致輪廓，以獲得人體的人體輪廓信息；以及

處理模塊，用于利用標定后的各視點相機內外參信息，并結合所述人體骨架信息和所述人體輪廓信息，采用Visual Hull方法進行人體三維建模。

7.根據權利要求6所述的多視角相機下的復雜動態場景人體三維重建裝置，其特征在于，所述采集模塊還用于將多個角度的攝像頭架設在人體對象周圍，并對準在人體對象運動范圍之內，并保證所述多個角度的攝像頭一致。

8.根據權利要求6所述的多視角相機下的復雜動態場景人體三維重建裝置，其特征在于，所述預測獲取模塊還用于利用深度卷積神經網絡對人體的關節點進行預測，并聯合多個角度求出在三維空間中的所述人體骨架信息。