[發明專利]三維人體形態和姿態的無標記點實時復原方法

有效

• 申請號: 201310215996.3
• 申請日: 2013-06-03
• 公開（公告）號: CN103268629A
• 公開（公告）日: 2013-08-28
• 發明（設計）人: 程志全;陳寅;黨崗
• 申請（專利權）人: 程志全
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T19/20
• 代理公司: 湖南省國防科技工業局專利中心 43102
• 代理人: 馮青

技術領域

本發明隸屬于一般的圖像數據處理領域，關注的是三維人體形態和姿態的復原問題，涉及的是不使用標記點、實時的三維人體復原方法。

背景技術

三維人體形態和姿態的復原是一般的圖像數據處理領域的一個重要問題，是重建逼真的個性化虛擬人的關鍵技術，也是人體重建、處理等諸多應用問題的重要基礎。

虛擬人（也稱為化身）的個性化建模是指在計算機虛擬場景中創建虛擬人的三維幾何模型，重建出的虛擬人不僅具有人個體的形態特性，而且具有個體的姿態特性。那么對虛擬人進行個性化建模，不僅要逼真地建立人的幾何外形（即形態復原）；更要復原出人體的運動（簡稱為姿態復原）。

本發明進一步推進了個性化虛擬人的復原方法，無需標記點，即可實時地復原出目標人體的形態和姿態信息。該方法面向單目深度視頻相機獲取的深度圖像序列，借助人體參數化模型，完成人體形態和姿態的實時復原。

以Kinect等為代表的新型深度視頻相機提供了全新的基于深度視頻的數據獲取方式。與之前的動作捕捉技術不同，數據獲取不需要通過在被捕捉對象的身體部位安置多個標記（感應點）來完成動作捕捉。從而，它具有非接觸式、成本低（不依賴特殊設備）和智能化等優點。Kinect等設備硬件技術的發展使得數據獲取設備便宜（2013年市場價約1200元人民幣）而且便捷，為虛擬人的建模奠定了硬件基礎。但是Kinect掃描得到的原始數據是不完整的、充滿噪聲且無配準，因此高度不可用。

本發明將使用人體參數化模型克服原始深度數據的缺陷。深度數據是物體表面特征的低層次的采樣信息，而人體參數化模型是人體建模的高層次的認識。低層次信息是提供高層次先驗知識的個性化基礎，高層次先驗知識能夠有效消除低層次信息帶來的不確定性。受掃描數據的不完整性和噪聲的影響，我們發現個性化虛擬人重建中滿足的先驗在掃描數據中表現為“接近”滿足的先驗，因此可以通過找到“接近”滿足的先驗構建約束——在滿足先驗知識等語義信息的前提下盡可能地逼近真實數據。這有別于傳統虛擬人重建過程中使用的約束，傳統的重建約束主要是最小化擬合誤差，即在重建過程中使重建結果盡可能地忠實于原始數據，但對原始深度數據不能生成有意義的重建結果。

根據專利文獻檢索，與本發明相關的有美國專利US?8139067?B2與US?20110210915?A1。US?8139067?B2專利主要用于無標記點的人體復原，但不能達到實時的效果，面向的數據是高質量的點云，不是高不可用的粗糙深度視頻；US?20110210915專利可處理深度數據，但其工作目的是人體姿態的估計，即確定人體深度數據的關節分割，估算出人體的姿態。因此，尚未見到面向深度視頻的人體的形態和姿態實時復原的有關報道。

發明內容

本發明提出一種三維人體形態和姿態的無標記點實時復原方法。面向單目深度相機獲取的深度視頻序列，該方法使用從三維人體庫分析出的人體參數化模型，基于深度視頻實時復原出人體的形態和姿態。

本發明從單目深度視頻實時復原三維人體的形態和姿態，其工作流程（圖1）包括人體參數化模型提取、人體形態離線復原與姿態在線復原等三個步驟：第一步，分析預先建立的人體數據庫，提取出人體參數化模型；第二步，在人體參數化模型的約束下建立目標人體的形態；第三步，快速地將人體形態模型匹配到深度視頻序列，在線實時復原出目標人體的姿態。

第一步，人體參數化模型提取。通過分析預先建立的人體庫，提出一種人體數據參數的建模模型，即人體參數化模型。該模型基于人體庫，考慮在姿態和形態上的差異，描述了單個人體的變形過程。具體步驟（圖2）如下：

1.1?構建人體參數化模型，該模型包括人體的形態變形和姿態變形兩個部分。形態變形子模型刻畫了形態變化帶來的多樣性，并用主元素分析方法進行化簡；姿態變形子模型用線性蒙皮變形表示，分解為人體中|B|（bone,人體剛性部件）個剛性塊的變換和權重乘積的求和。具體的求解如下：

給定三角形模板M，它將被注冊到人體庫中姿態為p的人體對象s（簡寫為網格模型M^sp）。人體參數化模型分解為形態變形子模型和姿態變形子模型兩部分，分別為：

a）形態變形子模型Θ：它形式化表示為，其中，μ表示了平均人體形態，U為人體形態變形空間經主元素分析所求解出的特征向量，θ為刻畫個性化對象的線性參數；