[發明專利]基于光影優化的三維幾何與本征成份重建方法及裝置

在審

• 申請號: 201810460082.6
• 申請日: 2018-05-15
• 公開（公告）號: CN108898658A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 劉燁斌;戴瓊海;徐楓
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/50
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于光影優化的三維幾何與本征成份重建方法及裝置，其中，方法包括：通過RGBD相機得到三維彩色點云時間序列拍攝；獲取三維深度點云和重建模型頂點之間的匹配點對，并獲得點對集合；根據匹配點對及當前視角彩色圖像建立基于本征分解的聯合能量函數，并求解重建模型上每一個頂點的非剛性運動位置變換參數；對能量函數進行求解，獲得表面模型頂點的形變變換矩陣以及圖像上每個項目的本征成份；根據求解結果將前一幀三維模型的幾何進行形變，補全和更新當前幀模型的幾何和本征成份，實現三維幾何與本征成份重建。該方法能夠高稀疏和單個視點條件下動態對象跟蹤形變的魯棒性，且求解準確，對設備要求低，擁有廣闊的應用前景。

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種基于光影優化的三維幾何與本征成份重建方法及裝置。

背景技術

動態對象三維重建是計算機圖形學和計算機視覺領域的重點問題。高質量的動態對象三維模型，如人體，動物，人臉，人手部等，在影視娛樂、體育游戲、虛擬現實等領域有著廣泛的應用前景和重要的應用價值。但是高質量三維模型的獲取通常依靠價格昂貴的激光掃描儀或者多相機陣列系統來實現，雖然精度較高，但是也顯著存在著一些缺點：第一，掃描過程中要求對象保持絕對靜止，微小的移動就會導致掃描結果存在明顯的誤差；第二，造假昂貴，很難普及到普通民眾日常生活中，往往應用于大公司或國家統計部門。第三，速度慢，往往重建一個三維模型需要至少10分鐘到數小時的時間，重建動態模型序列的代價更大。

從技術角度，現有的重建方法要么集中在先求解對象的剛性運動信息，獲得對象的逼近，進而重建非剛性表面運動信息。但這種重建方法需要事先獲得對象的關鍵幀三維模型。另一方面，現有的逐幀動態融合表面的重建方法雖然可實現無模板的動態三維重建，但僅僅使用非剛性表面形變方法，跟蹤重建的魯棒性低。本方法通過實時非剛性對齊的方法，逐幀地融合動態對象表面三維幾何信息與表面本征成份信息，實現了動態對象表面的非剛性高精度跟蹤與融合，實現在無首幀三維模板條件下的單深度相機實時動態三維幾何和表面本征成份重建。基于獲得的幾何和本征成份信息，可實現動態對象的自由視點視頻生成及對象重光照功能。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于光影優化的三維幾何與本征成份重建方法，具有較高魯棒性，求解準確，對設備要求低，擁有廣闊應用前景的優點。

本發明的另一個目的在于提出一種基于光影優化的三維幾何與本征成份重建裝置。

為達到上述目的，本發明一方面實施例提出了一種基于光影優化的三維幾何與本征成份重建方法，包括以下步驟：通過RGBD相機對動態場景進行拍攝，以得到三維彩色點云時間序列拍攝；獲取三維深度點云和重建模型頂點之間的匹配點對，并獲得點對集合，其中，所述點對集合包含所述三維深度點云上與所述重建模型的頂點對應的三維坐標點；根據所述匹配點對及當前視角彩色圖像建立基于本征分解的聯合能量函數，并求解所述重建模型上每一個頂點的非剛性運動位置變換參數；對所述能量函數進行求解，以獲得表面模型頂點的形變變換矩陣以及圖像上每個項目的本征成份；以及根據求解結果將前一幀三維模型的幾何進行形變，使形變模型與當前幀的采集點云進行對齊，并根據所述本征成份融合幾何及本征成份信息，以補全和更新當前幀模型的幾何和本征成份，實現三維幾何與本征成份重建。

本發明實施例的基于光影優化的三維幾何與本征成份重建方法，通過重建模型頂點之間的匹配點對獲取本征成份，以反映對象表面的真實材質屬性，可以去除外部光照的影響，以有效提高稀疏和單個視點條件下，動態對象跟蹤形變的魯棒性，并通過能量函數求解，并結合場景光照和重建出的場景本征成份信息實現對實時動態場景三維模型的高精度重建，具有求解準確的優點，此外，對設備要求低，擁有廣闊的應用前景。

另外，根據本發明上述實施例的基于光影優化的三維幾何與本征成份重建方法還可以具有以下附加的技術特征：