[發明專利]一種基于參數化模型的三維細小物體重建方法

有效

• 申請號: 202011121012.1
• 申請日: 2020-10-20
• 公開（公告）號: CN112330798B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 蘇智勇;李惠芳;蔣素琴;單梁
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06F30/23;G06F30/10
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

1.一種基于參數化模型的三維細小物體重建方法，其特征在于，包括以下步驟：

步驟1、構建細小物體的三維形狀模型庫；

步驟2、統計模型庫中的形狀變形，建立參數化模板模型；

步驟3、根據形狀特點獲取三維形狀的特征點信息，提取特征點索引建立基于稀疏特征點的參數化模型；

步驟4、輸入待重建模型的二維圖像，提取二維特征點位置信息；計算輸入圖像特征點與參數化模型特征點之間的誤差，通過最小化目標函數優化模型參數，根據優化的模型參數對參數化模型進行調整，重建出與輸入圖像對應的三維網格模型；

步驟2所述的統計模型庫中的形狀變形，建立參數化模板模型，具體如下：

步驟2.1、將三維模型庫分成兩個子集，一個是帶有尺寸變化的模型集合，另一個是帶有形狀變化的模型集合；

步驟2.2、第一個計算的是帶有尺寸變化的形狀模型；對于同一款式的兩個不同尺寸的形狀V_G和V_mG，V_G表示有全局尺寸變化的模型，V_mG表示無尺寸變化的形狀模型，計算網格頂點偏移量然后對頂點偏移量進行主成分分析得到全局形狀空間的一組基底一個新的帶有尺寸變化的形狀模型通過改變全局形狀系數來獲得：

其中V_model∈R^3×N是任意形變形狀，N是形狀模型的頂點個數，是平均形狀模型，α_i表示全局形狀系數，G_i表示全局形狀空間的基向量矩陣，表示全局形狀系數的個數；

步驟2.3、第二個計算的是帶有款式變化的形狀模型；對于同一尺寸的兩個不同款式的形狀V_L和V_mL，V_L表示有局部款式變化的模型，V_mL表示無款式變化的形狀模型，將頂點偏移量進行主成分分析得到一組基底所以不同款式的形狀模型通過改變局部形狀系數來獲得：

其中表示局部形狀系數的個數，β_i表示局部形狀系數，L_i表示局部形狀空間的基向量矩陣；

步驟2.4、新的形狀模型在均值模板模型上附加偏移量獲得，形式上采用加法模型表示：

步驟3所述的根據形狀特點獲取三維形狀的特征點信息，提取特征點索引建立基于稀疏特征點的參數化模型，具體如下：

步驟3.1、根據細小物體的形狀特點選取合適的特征點；

步驟3.2、根據特征點索引得到基于稀疏特征點的參數化模型具體如下：

其中，k表示三維特征點的索引向量，K表示特征點的個數，表示從形狀模型中按索引信息挑選出的特征點的頂點坐標；

步驟4所述輸入待重建模型的二維圖像，提取二維特征點位置信息；計算輸入圖像特征點與參數化模型特征點之間的誤差，通過最小化目標函數優化模型參數，根據優化的模型參數對參數化模型進行調整，重建出與輸入圖像對應的三維網格模型，具體如下：

步驟4.1、假設相機模型是一個沿z軸投影的弱透視投影模型，將三維稀疏模板模型通過弱透視投影投影到二維圖像空間：

其中，X_projection∈R²是三維模板模型上的特征點投影到二維圖像空間對應的點，Π為投影矩陣，R為旋轉矩陣，t為位移矩陣；

步驟4.2、使用能量函數將模板模型特征點的投影和輸入圖像的二維標記點進行對齊，具體如下：

其中E_landmarks表示關鍵點重投影最小化能量函數，x_2d表示輸入圖像的二維標記點，σ表示形狀系數對應的主成分偏差；λ₁與λ₂分別為全局形狀和局部形狀的先驗項所對應的權重系數，由經驗確定；

步驟4.3、首先初始化模型參數，通過求解最小化能量函數，得到模型參數和投影參數，具體如下：

步驟4.4、然后固定投影參數和局部形狀參數，求解全局形狀參數，具體如下：

步驟4.5、最后固定投影參數和全局形狀參數，求解局部形狀參數，具體如下：

步驟4.6、重復運行步驟4.3～4.5，直至算法收斂得到模型的優化參數，將參數代入公式(3)得到輸入圖像的三維模型。

2.根據權利要求1所述的基于參數化模型的三維細小物體重建方法，其特征在于，步驟1所述的構建細小物體的三維形狀模型庫，具體步驟如下：

步驟1.1、利用三維建模軟件C4D設計三維網格模板模型；

步驟1.2、對三維網格模板模型進行自由變形FFD合成新的三維網格模型，新合成的模型與模板模型具有相同的拓撲結構和頂點數，且網格模型點對點稠密對應；

步驟1.3、對三維模型庫中的所有形狀進行全局的尺寸變形，合成新的形狀模型以擴充模型庫。