[發明專利]基于光影優化的三維幾何與本征成份重建方法及裝置在審
| 申請號： | 201810460082.6 | 申請日： | 2018-05-15 |
| 公開（公告）號： | CN108898658A | 公開（公告）日： | 2018-11-27 |
| 發明（設計）人： | 劉燁斌;戴瓊海;徐楓 | 申請（專利權）人： | 清華大學 |
| 主分類號： | G06T17/00 | 分類號： | G06T17/00;G06T15/50 |
| 代理公司： | 北京清亦華知識產權代理事務所(普通合伙) 11201 | 代理人： | 張潤 |
| 地址： | 10008*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 本征 三維 求解 形變 重建 能量函數 匹配點 變換參數 變換矩陣 表面模型 彩色圖像 點對集合 動態對象 模型頂點 三維模型 時間序列 運動位置 彩色點 對設備 非剛性 魯棒性 前一幀 點云 稀疏 視點 優化 相機 圖像 分解 視角 拍攝 跟蹤 更新 應用 聯合 | ||
1.一種基于光影優化的三維幾何與本征成份重建方法，其特征在于，包括以下步驟：
通過RGBD相機對動態場景進行拍攝，以得到三維彩色點云時間序列拍攝；
獲取三維深度點云和重建模型頂點之間的匹配點對，并獲得點對集合，其中，所述點對集合包含所述三維深度點云上與所述重建模型的頂點對應的三維坐標點；
根據所述匹配點對及當前視角彩色圖像建立基于本征分解的聯合能量函數，并求解所述重建模型上每一個頂點的非剛性運動位置變換參數；
對所述能量函數進行求解，以獲得表面模型頂點的形變變換矩陣以及圖像上每個項目的本征成份；以及
根據求解結果將前一幀三維模型的幾何進行形變，使形變模型與當前幀的采集點云進行對齊，并根據所述本征成份融合幾何及本征成份信息，以補全和更新當前幀模型的幾何和本征成份，實現三維幾何與本征成份重建。
2.根據權利要求1所述的基于光影優化的三維幾何與本征成份重建方法，其特征在于，所述能量函數為：
其中，E為運動求解總能量項，為當前時刻待求解非剛性運動參數和當前幀點云的本征成份，Ed為深度數據項，Es為光影優化項，Ereg為局部剛性運動約束項，λd、λs和λreg分別為對應各個能量項的權重系數；
并且，根據非剛性運動驅動模型頂點，計算公式為：
其中，為作用于頂點vi的變形矩陣，所述變形矩陣包括旋轉部分和平移部分，為所述旋轉部分。
3.根據權利要求2所述的基于光影優化的三維幾何與本征成份重建方法，其特征在于，所述深度數據項表達為：
其中，v為模型表面上的一個頂點，v′為非剛性驅動變形后的模型頂點，所述模型頂點的計算公式為：
其中，為第t幀的第j個變形節點的變換矩陣，ut為深度點云上與模型頂點v對應的三維坐標點，是所述三維坐標點的法向，P為所有對應點對的集合。
4.根據權利要求1所述的基于光影優化的三維幾何與本征成份重建方法，其特征在于，基于本征成份分解的光照能量項為：
其中，為當前彩色相機視角可見的所有模型頂點的集合，Mc為彩色相機的投影矩陣，Ct(Mc(v′))為v′在當前t時刻彩色相機視角下投影到彩色圖像上所獲得的顏色，Bt(v′）為結合模型幾何信息和圖像本征成份屬性。
5.根據權利要求1所述的基于光影優化的三維幾何與本征成份重建方法，其特征在于，局部剛性約束項為：
其中，代表第j個變形節點的相鄰變形節點集合；代表所有非剛性變形節點的集合。
6.一種基于光影優化的三維幾何與本征成份重建裝置，包括：
拍攝模塊，用于通過RGBD相機對動態場景進行拍攝，以得到三維彩色點云時間序列拍攝；
獲取模塊，用于獲取三維深度點云和重建模型頂點之間的匹配點對，并獲得點對集合，其中，所述點對集合包含所述三維深度點云上與所述重建模型的頂點對應的三維坐標點；
分解模塊，用于根據所述匹配點對及當前視角彩色圖像建立基于本征分解的聯合能量函數，并求解所述重建模型上每一個頂點的非剛性運動位置變換參數；
求解模塊，用于對所述能量函數進行求解，以獲得表面模型頂點的形變變換矩陣以及圖像上每個項目的本征成份；以及
重建模塊，用于根據求解結果將前一幀三維模型的幾何進行形變，使形變模型與當前幀的采集點云進行對齊，并根據所述本征成份融合幾何及本征成份信息，以補全和更新當前幀模型的幾何和本征成份，實現三維幾何與本征成份重建。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于清華大學，未經清華大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810460082.6/1.html，轉載請聲明來源鉆瓜專利網。
