[發明專利]基于多視點視頻的復雜動態人體對象三維重建方法及系統

在審

• 申請號: 201711433635.0
• 申請日: 2017-12-26
• 公開（公告）號: CN107945269A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 劉燁斌;王金寶;戴瓊海;呂科
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80;G06T7/10
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 張潤

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種基于多視點視頻的復雜動態人體對象三維重建方法及系統。

背景技術

相關技術中，三維重建是根據單視圖或者多視圖的圖像重建三維信息的過程，由于單視頻的信息不完全，因此三維重建需要利用經驗知識，而多視圖的三維重建能夠利用更多的多視點視頻的二維圖像的信息，重建出三維模型。然而，目前大多的三維重建算法，對二維信息的利用不夠精確和全面，計算過程過度依賴外部設備提供的信息，如深度相機提供的深度信息等，或依賴于對目標和背景的分割結果等，造成重建出的結果仍比較粗糙。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于多視點視頻的復雜動態人體對象三維重建方法，該方法可以實現準確的人物對象分割，同時達到對人體的定位，有效提高重建的準確性和可靠性。

本發明的另一個目的在于提出一種基于多視點視頻的復雜動態人體對象三維重建系統。

為達到上述目的，本發明一方面實施例提出了一種基于多視點視頻的復雜動態人體對象三維重建方法，包括以下步驟：對目標人體對象進行多視點拍攝，獲得在同一時刻下的多視點二維圖像；利用深度網絡學習后的深度神經網絡模型分別對每個視點的二維圖像序列中的人體各部分進行預測，分割出目標人體對象的輪廓信息和人體對象的骨架信息；利用標定后的每個視點的相機內參和外參信息，結合分割后的所述目標人體對象的輪廓信息和所述人體對象的骨架信息，進行人體的三維建模。

本發明實施例的基于多視點視頻的復雜動態人體對象三維重建方法，可以利用多個視點提供的二維信息，利用深度學習的方法解決目標人體對象與復雜背景的分割問題，結合相機標定等過程對視頻序列中的人體對象進行三維重建，從而實現準確的人物對象分割，同時達到對人體的定位，有效提高重建的準確性和可靠性。

另外，根據本發明上述實施例的基于多視點視頻的復雜動態人體對象三維重建方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述對目標人體對象進行多視點拍攝，獲得在同一時刻下的多視點二維圖像，包括：將多個視角的攝像頭架設在人體對象周圍，并對準在人體對象運動范圍之內，保證攝像頭一致，以獲得在同一時刻下的多視點二維圖像。

進一步地，在本發明的一個實施例中，所述利用深度網絡學習后的深度神經網絡模型分別對每個視點的二維圖像序列中的人體各部分進行預測，分割出目標人體對象的輪廓信息和人體對象的骨架信息，包括：利用深度卷積神經網絡DPM(Deep Pose Machines，深度卷積神經網絡)對人體的各部分關節點進行預測；利用深度卷積神經網絡LIP(Look into Person，深度卷積神經網絡)對人體的各身體部分進行預測，獲得人物輪廓信息。

進一步地，在本發明的一個實施例中，在所述利用深度卷積神經網絡LIP對人體的各身體部分進行預測時，利用自己網絡預測的關節點響應圖同真實響應圖計算損失loss，其中，

L_Structure＝L_Joint·L_Parsing，

其中，L_Structure是結構損失，是整個網絡的損失，是網絡預測值，是真實標簽值，L_Parsing是softmaxloss，L_Joint是關節點預測值與真實值之間的損失。

進一步地，在本發明的一個實施例中，所述利用標定后的每個視點的相機內參和外參信息，結合分割后的目標人體對象的輪廓信息和人體對象的骨架信息，進行人體的三維建模，包括：對每個視角拍攝的相機進行標定，獲得每個相機的內參和外參信息；利用目標人體對象的輪廓信息，遍歷空間模型中的每個點，確定是否屬于人體對象；如果空間的點投影到多個二維平面視圖中都在人體對象輪廓內，則認為相應的點屬于三維人體對象，直到遍歷空間中的每個點，獲得最終的人體的三維建模。