[發明專利]基于骨架跟蹤的動態實時三維人體重建方法及系統

在審

• 申請號: 201711408848.8
• 申請日: 2017-12-22
• 公開（公告）號: CN108122275A
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 劉燁斌;于濤;戴瓊海;徐楓;方璐
• 申請（專利權）人: 清華大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T7/20
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于骨架跟蹤的動態實時三維人體重建方法及系統，其中，方法包括：對人體進行深度圖拍攝以得到單張深度圖像；將單張深度圖像變換為三維點云，并獲取三維點云和重建模型頂點之間的匹配點對；根據匹配點對建立能量函數，共同求解重建模型上每一個頂點的非剛性運動位置變換參數和人體骨架運動參數；對能量函數進行求解，以根據求解結果將重建模型與三維點云進行對齊，并使用深度圖更新和補全對齊后的模型，以實現三維人體重建。該方法可以利用深度相機對人體進行拍攝，從而獲得深度圖像作為系統輸入信息，并基于該深度圖像完成對動態人體進行實時三維重建的功能，求解準確魯棒，簡單易實現。

技術領域

本發明涉及計算機視覺和計算機圖形學技術領域，特別涉及一種基于骨架跟蹤的動態實時三維人體重建方法及系統。

背景技術

人體三維重建是計算機圖形學和計算機視覺領域的重點問題。高質量的人體三維模型在影視娛樂、人口數據統計分析等領域有著廣泛的應用前景和重要的應用價值。

然而，高質量人體三維模型的獲取通常依靠價格昂貴的激光掃描儀或者多相機陣列系統來實現，雖然精度較高，但是也顯著存在著一些缺點：如掃描過程中要求被人保持絕對靜止，微小的移動就會導致掃描結果存在明顯的誤差；而且造假昂貴，很難普及到普通民眾日常生活中，往往應用于大公司或國家統計部門，并且速度慢，往往重建一個三維人體模型需要至少10分鐘到數小時的時間，有待解決。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于骨架跟蹤的動態實時三維人體重建方法，該方法求解準確魯棒，速度快，簡單易實現。

本發明的另一個目的在于提出一種基于骨架跟蹤的動態實時三維人體重建系統。

為達到上述目的，本發明一方面實施例提出了一種基于骨架跟蹤的動態實時三維人體重建方法，包括以下步驟：對人體進行深度圖拍攝以得到單張深度圖像；將所述單張深度圖像變換為三維點云，并獲取所述三維點云和重建模型頂點之間的匹配點對；根據所述匹配點對建立能量函數，共同求解所述重建模型上每一個頂點的非剛性運動位置變換參數和人體骨架運動參數；對所述能量函數進行求解，以根據求解結果將所述重建模型與所述三維點云進行對齊，并使用深度圖更新和補全對齊后的模型，以實現三維人體重建。

本發明實施例的基于骨架跟蹤的動態實時三維人體重建方法，可以利用深度相機對人體進行拍攝，從而獲得深度圖像作為系統輸入信息，并基于該深度圖像完成對動態人體進行實時三維重建的功能，所需的輸入信息非常容易采集，并且可以實時的獲得人體的動態三維模型，求解準確魯棒，速度快，擁有廣闊的應用前景，同時還可以在PC機或工作站等硬件系統上快速實現，簡單易實現。

另外，根據本發明上述實施例的基于骨架跟蹤的動態實時三維人體重建方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述能量函數為：

E_t＝λ_nE_n+λ_sE_s+λ_gE_g+λ_bE_b，

其中，E_t為總能量項，E_n為非剛性運動約束項，E_s為人體骨架運動約束項，E_g為局部剛性運動約束項，E_b為人體骨架運動和非剛性運動一致性約束項，λ_n、λ_s、λ_g和λ_b分別為對應各個約束項的權重系數。