[發明專利]多視角相機下的復雜動態場景人體三維重建方法及裝置

在審

• 申請號: 201711433631.2
• 申請日: 2017-12-26
• 公開（公告）號: CN108053469A
• 公開（公告）日: 2018-05-18
• 發明（設計）人: 劉燁斌;王金寶;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種多視角相機下的復雜動態場景人體三維重建方法及裝置，其中，方法包括：對目標人體對象進行多視點拍攝，以獲得在同一時刻下的多視點二維圖像；通過深度網絡學習后的模型對視頻序列中的人體各部分進行預測，以獲取人體的人體骨架信息；根據骨架信息并通過虛擬的三維人體模型去匹配圖像中人物的動作和大致輪廓，以獲得人體的人體輪廓信息；利用標定后的各視點相機內外參信息，并結合人體骨架信息和人體輪廓信息，采用Visual Hull方法進行人體三維建模。該方法可以結合相機標定等過程對視頻序列中的人體對象進行三維重建，從而實現準確的人物對象分割，有效提高重建的準確性和可靠性。

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種多視角相機下的復雜動態場景人體三維重建方法及裝置。

背景技術

在計算機視覺中，三維重建是根據單視圖或者多視圖的圖像重建三維信息的過程，由于單視頻的信息不完全，因此三維重建需要利用先驗知識，而多視圖的三維重建能夠利用更多的視點的二維圖像的信息，重建出三維模型。然而，目前大多的三維重建算法，對二維信息的利用不夠精確和全面，計算過程過度依賴外部設備提供的信息，如深度相機提供的深度信息等，或依賴于對目標和背景的分割結果等，造成重建出的結果仍比較粗糙。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種多視角相機下的復雜動態場景人體三維重建方法，該方法可以實現準確的人物對象分割，有效提高重建的準確性和可靠性。

本發明的另一個目的在于提出一種多視角相機下的復雜動態場景人體三維重建裝置。

為達到上述目的，本發明一方面實施例提出了一種多視角相機下的復雜動態場景人體三維重建方法，包括以下步驟：對目標人體對象進行多視點拍攝，以獲得在同一時刻下的多視點二維圖像；通過深度網絡學習后的模型對視頻序列中的人體各部分進行預測，以獲取人體的人體骨架信息；根據所述骨架信息并通過虛擬的三維人體模型去匹配圖像中人物的動作和大致輪廓，以獲得人體的人體輪廓信息；利用標定后的各視點相機內外參信息，并結合所述人體骨架信息和所述人體輪廓信息，采用Visual Hull方法進行人體三維建模。

本發明實施例的多視角相機下的復雜動態場景人體三維重建方法，能夠利用多個視點提供的二維信息，利用深度學習的方法估計人體的大致位置，然后用虛擬的三維人體模型和圖割的方法聯合解決目標場景中的人體對象由于復雜背景造成難以分割的問題，結合相機標定等過程對視頻序列中的人體對象進行三維重建，從而實現準確的人物對象分割，有效提高重建的準確性和可靠性。

另外，根據本發明上述實施例的多視角相機下的復雜動態場景人體三維重建方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述對目標人體對象進行多視點拍攝，以獲得在同一時刻下的多視點二維圖像，進一步包括：將多個角度的攝像頭架設在人體對象周圍，并對準在人體對象運動范圍之內，并保證所述多個角度的攝像頭一致。

進一步地，在本發明的一個實施例中，所述獲取人體的人體骨架信息，進一步包括：利用深度卷積神經網絡對人體的關節點進行預測，并聯合多個角度求出在三維空間中的所述人體骨架信息。

進一步地，在本發明的一個實施例中，所述獲得人體的人體輪廓信息，進一步包括：對單角度圖片進行背景減操作，以獲得人物的位置，并通過圖割方法確定的關節點作為模板的前景點，人物背景減后獲得的區域為待分割區域，其他區域作為模板的背景點進行分割，從而獲得分割結果；將smpl作為人物模型，檢測出的所述關節點為輸入，解一個全局最小的優化問題，使得初始的三維人體模型匹配到人物動作上，以將匹配后的人物模型輪廓作為前面分割的補充，得到所述人體輪廓信息。