[發明專利]聯合優化人體體態與外觀模型的三維重建方法及系統

有效

• 申請號: 201810460079.4
• 申請日: 2018-05-15
• 公開（公告）號: CN108665537B
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 劉燁斌;戴瓊海;方璐;徐楓
• 申請（專利權）人: 清華大學;清華大學深圳研究生院
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種聯合優化人體體態與外觀模型的三維重建方法及系統，其中，方法包括以下步驟：對人體進行深度圖拍攝，以得到單張深度圖像；將單張深度圖像變換為三維點云，并獲取三維點云和重建模型頂點及參數化人體模型頂點之間的匹配點對；根據匹配點對建立能量函數，并共同求解重建模型上每一個頂點的非剛性運動位置變換參數和參數化人體體態模型參數；對能量函數進行求解，并根據求解結果將重建模型與三維點云進行對齊；通過深度圖更新和補全對齊后的模型，以進行實時人體動態三維重建。該方法可以有效提高重建的實時性、魯棒性和準確性，擴展性強，簡單易實現。

技術領域

本發明涉及計算機視覺和計算機圖形學技術領域，特別涉及一種聯合優化人體體態與外觀模型的三維重建方法及系統。

背景技術

人體動態三維重建是計算機圖形學和計算機視覺領域的重點問題。高質量的人體對象動態三維模型，如人體，動物，人臉，人手部等，在影視娛樂、體育游戲、虛擬現實等領域有著廣泛的應用前景和重要的應用價值。但是高質量三維模型的獲取通常依靠價格昂貴的激光掃描儀或者多相機陣列系統來實現，雖然精度較高，但是也顯著存在著一些缺點：第一，掃描過程中要求對象保持絕對靜止，微小的移動就會導致掃描結果存在明顯的誤差；第二，造假昂貴，很難普及到普通民眾日常生活中，往往應用于大公司或國家統計部門。第三，速度慢，往往重建一個三維模型需要至少10分鐘到數小時的時間，重建動態模型序列的代價更大。

相關技術中，動態人體重建方法集中于三個方面的研究，一是重建對象的動態外觀表面，但由于外觀表面豐富多樣，一般需要采集復雜的設備輸入，如通過多攝像機陣列進行采集重建。二是對人體體型和姿態的重建，一般經過體型和姿態進行參數化，重建的變量大大減少，現有技術在單個深度相機下可實時重建，但該類方法無法獲得對象表面外觀三維模型。三是逐幀動態融合表面的重建方法雖然可實現無模板的動態三維重建，但僅僅使用非剛性表面形變方法，跟蹤重建的魯棒性低。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種聯合優化人體體態與外觀模型的三維重建方法，該方法有效提高重建的實時性、魯棒性和準確性，擴展性強，簡單易實現。

本發明的另一個目的在于提出一種聯合優化人體體態與外觀模型的三維重建系統。

為達到上述目的，本發明一方面實施例提出了一種聯合優化人體體態與外觀模型的三維重建方法，包括以下步驟：對人體進行深度圖拍攝，以得到單張深度圖像；將所述單張深度圖像變換為三維點云，并獲取所述三維點云和重建模型頂點及參數化人體模型頂點之間的匹配點對；根據所述匹配點對建立能量函數，并共同求解所述重建模型上每一個頂點的非剛性運動位置變換參數和參數化人體體態模型參數；對所述能量函數進行求解，并根據求解結果將所述重建模型與所述三維點云進行對齊；通過深度圖更新和補全對齊后的模型，以進行實時人體動態三維重建。

本發明實施例的聯合優化人體體態與外觀模型的三維重建方法，通過實時非剛性對齊的方法，逐幀地融合動態對象表面三維信息，為了實現魯棒地跟蹤，實現在無首幀關鍵幀三維模板條件下的魯棒性實時人體對象的動態三維重建，從而有效提高重建的實時性、魯棒性和準確性，擴展性強，簡單易實現。

另外，根據本發明上述實施例的聯合優化人體體態與外觀模型的三維重建方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述能量函數為：

E_mot＝λ_dataE_data+λ_bindE_bind+λ_regE_reg+λ_priorE_prior，