[發明專利]一種基于單目深度攝像頭的著裝下三維人體模型重建方法

在審

• 申請號: 202011261962.4
• 申請日: 2020-11-12
• 公開（公告）號: CN112330813A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 譚小慧;呂正元;施智平
• 申請（專利權）人: 首都師范大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T13/40;G06K9/00;G06K9/62
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平

本發明提出了一種基于單目深度攝像頭著裝下三維人體模型重建方法，首先，利用單目深度攝像頭掃描著裝的三維人體，將單目深度攝像頭Kinect掃描的穿衣人體模型作為輸入，生成S_SCAPE人體統計形狀模型；其次，基于隨機森林回歸自動識別自定義的關鍵特征點，判斷著裝人體模型的衣服點并對衣服區域進行雙邊濾波處理，達到去除衣服點對三維人體模型的影響；然后，將S_SCAPE人體統計形狀模型作為參數化模板模型，使得掃描人體模型與模板模型進行初始化擬合；最后，模板模型經過非剛性形變與人體模型進行擬合，擬合過程中采用L_BFGS算法優化，實現著裝下三維人體模型的重建。本發明降低了人體模型獲得的設備復雜性，同時提高了著裝下三維人體重建的準確性。

技術領域

本發明涉及一種基于單目深度攝像頭的著裝下三維人體模型重建方法，屬于計算機圖形學技術領域。

背景技術

在多媒體、虛擬現實和計算機圖形學領域已經對三維人體重建進行了深入的研究。三維人體模型可用于協助服裝設計，人體測量和娛樂領域的各種建模應用，許多計算機圖形應用中人機交互和虛擬現實等應用如動畫、計算機游戲等，都需要逼真的三維人體模型，特別在跟蹤、圖形、監視和法醫視頻分析領域，對于許多應用程序，包括虛擬試衣、健康監測和虛擬現實中的三維人體的創建，都需要可靠的三維人體模型重建，然而以往的重建技術都依賴價格昂貴的三維掃描設備，并且需要專業的人員操作以及大量的手工處理，采集方式要求用戶穿著最少衣物，這給實際應用帶來約束。因此，實用的三維人體模型重建方法是至關重要。

已有的著裝下的三維人體重建將服裝看作為噪音，進行去噪操作以達到去除衣服重建人體模型的目的，這個方法基于穿著緊身衣的人體數據庫來訓練模特模型從而學習不穿衣服時的人體形狀，利用具有人體三維特征信息的約束條件對模板網格進行變換，得到受到服裝影響的粗糙網格并通過SCAPE模型作為統計形狀對個性化人體進行建模，結合基于骨骼的變形來對姿態變化進行建模。雖然該方法可以在靜態掃描和運動序列中估計出與服裝相對接近的形狀和姿態，但估計的形狀表面幾乎沒有細節。

對于重建三維人體模型，許多學者都是利用深度攝像頭，消費級深度攝像頭Microsoft Kinect相比傳統的掃描儀具有體積小，價格低，操作方便等優點，還可以同時獲取掃描物體的深度信息，不受光線等客觀物理因素的影響，基于Kinect重建三維人體模型是利用深度相機掃描不同視角的單幀人體點云數據，對采集的三維人體的點云數據進行預處理，將多角度的點云進行配準整合到同一個坐標系中再經過重建曲面，生成完整的三維人體模型。本發明僅采用一個深度攝像頭掃描著裝的三維人體繼而重建出著裝下的三維人體模型。

在安徽信息工程學院丁富揚、王德昌黃英申請、2019年1月8日公開、公開號為CN109166134A、發明名稱為“基于多Kinect的人體動態三維重建方法”的中國發明專利申請中，提出基于多Kinect的進行三維人體的重建，通過對每一個Kinect進行準確的標定并采集各個Kinect獲取的深度數據，對點云數據進行人體檢測和背景消除得到人體點云數據，將人體點云數據進行幾何配準得到三維人體點云信息，雖然通過多個Kinect的三維重建方法克服了單一的Kinect由于視角有限,不能獲取捕捉動態完整的人體數據的問題，但是同時對多個Kinect的過程十分復雜，不利于實現。

在華南理工大學毛愛華、張弘、柳雨新、羅潔、鄭穎龍、李桂清、韓國強申請、2019年8月20日公開、公開號為CN106204718B、發明名稱為“一種基于單個Kinect的簡易高效三維人體重建方法”的中國發明專利申請中，為了使人體建模更加快速、準確和方便，該發明提出了一種有效的全身掃描的數據采集策略，只通過六個角度，每個角度三幀的掃描，便可以完全覆蓋人體，用得到的完整人體點云進行泊松表面重建得到最終的三維人體模型。該發明申請雖然可以重建出掃描的三維人體模型，但是未對掃描的三維人體的著裝情況進行說明，不同的著裝情況，則會不同程度地影響重建的三維人體模型的準確性。

發明內容