[發(fā)明專利]一種3D人物重建的方法及終端

有效

• 申請(qǐng)?zhí)枺?/td>: 201810316182.1
• 申請(qǐng)日: 2018-04-10
• 公開(kāi)（公告）號(hào): CN108717730B
• 公開(kāi)（公告）日: 2023-01-10
• 發(fā)明（設(shè)計(jì)）人: 劉德建;余學(xué)春;郭玉湖;鐘良德
• 申請(qǐng)（專利權(quán)）人: 福建天泉教育科技有限公司
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20
• 代理公司: 福州市博深專利事務(wù)所(普通合伙) 35214
• 代理人: 林志崢

1.一種3D人物重建的方法，其特征在于，包括步驟：

S1、采集人頭數(shù)據(jù)；

S2、根據(jù)所述人頭數(shù)據(jù)生成人頭數(shù)據(jù)庫(kù)，所述人頭數(shù)據(jù)庫(kù)包括第一人頭3D模型和相應(yīng)的特征向量；

S3、獲取輸入照片，確定所述照片相對(duì)于所述第一人頭3D模型的形變系數(shù)，并根據(jù)所述第一人頭3D模型、所述特征向量和所述形變系數(shù)得到與所述照片對(duì)應(yīng)的第二人頭3D模型，所述輸入照片包括正臉照片、左側(cè)臉照片和右側(cè)臉照片；

S4、生成與所述第二人頭3D模型相匹配的紋理圖；

S5、預(yù)設(shè)人物模型，將所述第二人頭3D模型和所述紋理圖賦值給所述人物模型，生成對(duì)應(yīng)的3D人物；

步驟S3中確定所述照片相對(duì)于所述第一人頭3D模型的形變系數(shù)具體包括步驟：

S31、獲取所述照片預(yù)先標(biāo)定的多個(gè)第一標(biāo)定點(diǎn)對(duì)應(yīng)的第一標(biāo)定點(diǎn)集，所述第一標(biāo)定點(diǎn)集包括每個(gè)第一標(biāo)定點(diǎn)的序號(hào)及對(duì)應(yīng)的坐標(biāo)；

S32、獲取所述第一人頭3D模型預(yù)先標(biāo)定的分別與所述多個(gè)第一標(biāo)定點(diǎn)一一對(duì)應(yīng)的第二標(biāo)定點(diǎn)及對(duì)應(yīng)的第二標(biāo)定點(diǎn)集，所述第二標(biāo)定點(diǎn)集包括與所述每個(gè)第一標(biāo)定點(diǎn)對(duì)應(yīng)的第二標(biāo)定點(diǎn)的序號(hào)及對(duì)應(yīng)的坐標(biāo)；

S33、根據(jù)所述第一標(biāo)定點(diǎn)集和第二標(biāo)定點(diǎn)集，計(jì)算所述第一人頭3D模型相對(duì)于所述照片的投影矩陣，根據(jù)所述投影矩陣分別計(jì)算每個(gè)第二標(biāo)定點(diǎn)投影后對(duì)應(yīng)的第一坐標(biāo)，得到第一坐標(biāo)集；

S34、分別計(jì)算所述第一坐標(biāo)集中每個(gè)第一坐標(biāo)和與所述第一坐標(biāo)對(duì)應(yīng)的第一標(biāo)定點(diǎn)的歐式距離，得到歐式距離集，根據(jù)所述歐式距離集，得到所述照片相對(duì)于所述第一人頭3D模型的形變系數(shù)；

步驟S34具體包括：

S341、分別計(jì)算所述第一坐標(biāo)集中每個(gè)第一坐標(biāo)和與所述第一坐標(biāo)對(duì)應(yīng)的第一標(biāo)定點(diǎn)的歐式距離，得到歐式距離集，并記錄為第i次迭代，其中i的初始值為1，取值范圍為[1，n]；

S342、根據(jù)所述歐式距離集構(gòu)建與所述第i次迭代對(duì)應(yīng)的最小化代價(jià)函數(shù)，得到與所述第一標(biāo)定點(diǎn)集對(duì)應(yīng)的新的第一坐標(biāo)集和新的形變系數(shù)；

S343、判斷i的值是否大于等于n，若否，則執(zhí)行步驟S344，否則執(zhí)行步驟S345；

S344、將i的值加上1并賦值給i，將所述第一坐標(biāo)集替換為新的第一坐標(biāo)集，所述形變系數(shù)替換為新的形變系數(shù)，并返回步驟S341；

S345、將所述新的形變系數(shù)記錄為所述照片相對(duì)于所述第一人頭3D模型的形變系數(shù)；

所述最小化代價(jià)函數(shù)為：

式中，α為形變系數(shù)，為所述照片中多個(gè)第一標(biāo)定點(diǎn)的協(xié)方差，y_m2D,i為所述第一人頭3D模型中的第i個(gè)3維第二標(biāo)定點(diǎn)通過(guò)投影后得到的第一坐標(biāo)，所述第一人頭3D模型為平均人頭3D模型，y_i為所述照片中與所述第i個(gè)3維第二標(biāo)定點(diǎn)對(duì)應(yīng)的第一標(biāo)定點(diǎn)，y_m2D為第一坐標(biāo)集，N為平均人頭3D模型中的標(biāo)定點(diǎn)數(shù)目；

平均人頭3D模型的形變，參考3DMM是一個(gè)由形變系數(shù)α∈R^s決定的可變網(wǎng)格，形變由主成分分析后的線性模型來(lái)描述：

其中，V∈R^3N×S為主成分分量，S個(gè)特征向量，即前面人頭數(shù)據(jù)庫(kù)中得到的特征向量，為人頭數(shù)據(jù)庫(kù)中的平均人頭3D模型，R^3N空間中的數(shù)據(jù)可表達(dá)為向量[u₁ v₁ w₁ …u_N v_N w_N]^T，即平均人頭3D模型中各標(biāo)定點(diǎn)的三維坐標(biāo)順序排列，N為平均人頭3D模型中網(wǎng)格頂點(diǎn)數(shù)；

迭代得到形變系數(shù)的過(guò)程就是先使用上一次迭代得到的f(α)，與投影矩陣，以及middle_mapping.config中正臉照片的標(biāo)定點(diǎn)的序號(hào)到平均人頭3D模型的標(biāo)定點(diǎn)的序號(hào)的對(duì)應(yīng)關(guān)系，構(gòu)建最小化代價(jià)函數(shù)來(lái)估計(jì)形變系數(shù)的最大似然解，其中為所述正臉照片中多個(gè)第一標(biāo)定點(diǎn)的協(xié)方差cov(X,Y),y_m2D,i為平均人頭3D模型中的第i個(gè)3維第二標(biāo)定點(diǎn)通過(guò)投影后得到的第一坐標(biāo)，y_i為所述正臉照片中與所述第i個(gè)3維第二標(biāo)定點(diǎn)對(duì)應(yīng)的第一標(biāo)定點(diǎn)，y_m2D為第一坐標(biāo)集，既有式中P表示映射系數(shù)；

進(jìn)行多次迭代，每次迭代計(jì)算滿足最小化代價(jià)函數(shù)的形變系數(shù)α，迭代完成后最后代入線性模型式得到與所述正臉照片對(duì)應(yīng)的迭代人頭3D模型Mmiddle；

步驟S4具體包括：

S41、根據(jù)所述投影矩陣，對(duì)所述第一人頭3D模型旋轉(zhuǎn)、平移修正后，進(jìn)行平行投影，得到標(biāo)準(zhǔn)的2D圖像；

S42、根據(jù)所述標(biāo)準(zhǔn)的2D圖像和所述照片，計(jì)算得到與所述照片對(duì)應(yīng)的仿射矩陣：

將2D照片與2D投影圖像中的68個(gè)標(biāo)定點(diǎn)，分別按就近原則，每三個(gè)標(biāo)定點(diǎn)構(gòu)成一個(gè)三角形，2D照片生成的三角形記為Tsrc，2D投影圖像中的三角形記為Tdet；

根據(jù)Tsrc與Tdet獲取仿射矩陣；

S43、根據(jù)所述仿射矩陣，將所述照片變換為與其對(duì)應(yīng)的標(biāo)準(zhǔn)的2D圖像，生成第一紋理圖：

將2D照片根據(jù)仿射矩陣進(jìn)行2D仿射變換為2D投影圖像，將正臉紋理圖與左右側(cè)臉紋理圖相融合，生成與人頭模型相匹配的紋理圖；

S44、通過(guò)顏色遷移將所述照片中的膚色信息遷移到所述第一紋理圖上，生成與所述第一人頭3D模型相匹配的紋理圖。