[發(fā)明專利]一種基于深度學(xué)習(xí)的最佳胖瘦人臉肖像圖像自動(dòng)生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010983159.5
• 申請(qǐng)日: 2020-09-17
• 公開(kāi)（公告）號(hào): CN112308957B
• 公開(kāi)（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 肖欽杰;唐祥峻;吳優(yōu);金樂(lè)陽(yáng);金小剛
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T19/20;G06V40/16;G06V10/82;G06N3/04
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于深度學(xué)習(xí)的最佳胖瘦人臉肖像圖像自動(dòng)生成方法，其特征在于，包括如下步驟：

S1、生成人臉肖像圖像中二維人臉的三維人臉模型、人臉相關(guān)參數(shù)和紋理映射，具體如下：

S11、將人臉肖像圖像中檢測(cè)到的二維人臉輸入到人臉特征點(diǎn)檢測(cè)算法中，定位二維人臉的人臉關(guān)鍵點(diǎn)；

S12、根據(jù)單目視覺(jué)三維人臉重建算法重建三維人臉模型并計(jì)算人臉相關(guān)參數(shù)，所述的人臉相關(guān)參數(shù)包括人臉身份特征參數(shù)，人臉表情參數(shù)和人臉姿態(tài)參數(shù)，具體如下：

S121、如式(1)所示，將三維人臉模型表征為基于3DMM的參數(shù)表達(dá)，所述三維人臉模型表示為由n個(gè)頂點(diǎn)構(gòu)成的固定拓?fù)涞木W(wǎng)格所述的三維人臉模型通過(guò)平均人臉與一組人臉形狀偏移量的線性組合來(lái)表示：

其中，是人臉身份特征形狀偏移量，是人臉表情特征形狀偏移量，算法包含N_id個(gè)形狀參數(shù)，N_exp個(gè)表情參數(shù)；α代表人臉身份特征參數(shù)，β代表人臉表情參數(shù)，表示3n維空間；

S122、根據(jù)式(2)的能量方程的最優(yōu)解得到人臉相關(guān)參數(shù)；

E(P)＝w_fE_f(P)+w_rE_r(P)， 式(2)

其中，P代表人臉相關(guān)參數(shù)，P＝{R，t，α，β}，R，t分別代表人臉姿態(tài)參數(shù)的旋轉(zhuǎn)和平移，E_f(P)代表通過(guò)人臉關(guān)鍵點(diǎn)將三維人臉擬合到二維人臉上的能量項(xiàng)，E_r(P)是正則項(xiàng)，w_f，w_r分別為兩個(gè)能量項(xiàng)的系數(shù)；

S13、根據(jù)人臉肖像圖像和三維人臉模型獲得紋理映射；

S2、將所述人臉肖像圖像輸入到訓(xùn)練好的基于深度學(xué)習(xí)的人臉最佳胖瘦估計(jì)模型中，輸出人臉的最佳胖瘦尺度，所述人臉最佳胖瘦估計(jì)模型經(jīng)包含公共人臉審美胖瘦標(biāo)注的人臉數(shù)據(jù)庫(kù)訓(xùn)練得到，具體如下：

S21、構(gòu)建包含公共人臉審美胖瘦標(biāo)注的人臉數(shù)據(jù)庫(kù)，具體如下：

S211、采用S1中的方法生成人臉數(shù)據(jù)庫(kù)原始人臉肖像照片中二維人臉的三維人臉模型、人臉相關(guān)參數(shù)和紋理映射；

S212、采用S3中的方法，設(shè)定多個(gè)不同的胖瘦尺度替代最佳胖瘦尺度為輸入，分別得到對(duì)應(yīng)調(diào)整后的三維人臉模型，胖瘦尺度的取值范圍為{-2.0，-1.6，-1.2，-0.8，-0.4，0.0，0.4，0.8}；

S213、采用S4～S5中的方法，依次將調(diào)整后的三維人臉模型投影到二維平面上，然后嵌入到相應(yīng)的原始人臉肖像照片中，得到不同胖瘦的人臉肖像照片序列；

S214、請(qǐng)多名評(píng)分人員從人臉肖像照片序列選出胖瘦最佳的人臉肖像照片，對(duì)應(yīng)的胖瘦尺度作為該人臉的胖瘦基線u，設(shè)定其它的人臉肖像照片的公共人臉審美胖瘦尺度s^*＝v-u，其中v為其它的人臉肖像照片對(duì)應(yīng)的胖瘦尺度；

S215、對(duì)人臉數(shù)據(jù)庫(kù)中的每張?jiān)既四樞は裾掌歼M(jìn)行S211～S214處理，從而得到包含公共人臉審美胖瘦標(biāo)注的人臉數(shù)據(jù)庫(kù)；

S22、利用包含公共人臉審美胖瘦標(biāo)注的人臉數(shù)據(jù)庫(kù)對(duì)人臉最佳胖瘦估計(jì)模型進(jìn)行訓(xùn)練；

所述的人臉最佳胖瘦估計(jì)模型以ResNet的網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，包含特征提取層和分類器，分類器為1類；訓(xùn)練過(guò)程中以∑||s-s^*||²最小化為目標(biāo)，其中，s為人臉最佳胖瘦估計(jì)模型估計(jì)的胖瘦尺度；s^*代表公共人臉審美胖瘦尺度；

S23、將人臉肖像圖像輸入人臉最佳胖瘦估計(jì)模型中得到最佳胖瘦尺度；

S3、以輸出的最佳胖瘦尺度為輸入，根據(jù)三維人臉胖瘦調(diào)整算法，對(duì)三維人臉模型進(jìn)行調(diào)整，生成最佳胖瘦三維人臉模型具體如下：

S31、首先固定三維人臉模型中的表情參數(shù)，簡(jiǎn)化三維人臉模型為X(α)，對(duì)X(α)中任意一個(gè)點(diǎn)表示如下式所示：

其中，α代表人臉身份特征參數(shù)；是P_id對(duì)應(yīng)于x_i的子矩陣；

S32、計(jì)算式(5)的最優(yōu)解得到三維人臉模型上各個(gè)頂點(diǎn)的新位置Y；

E(Y，α)＝E_shape(Y)+E_3DMM(Y，α)+E_ID(Y)， 式(5)

其中，是三維人臉模型中n個(gè)頂點(diǎn)的新位置；E_shape(Y)代表稀疏胖瘦模型約束，E_3DMM(Y，α)代表人臉合理性約束，E_ID(Y)代表人臉身份特征約束，表示3維空間；

E_shape(Y)的計(jì)算公式如下所示：

E_shape(Y)＝∑_j(y_I(j)-x′_I(j))² 式(6)

其中，I(j)是第j個(gè)人臉特征點(diǎn)的索引，y_I(j)代表第j個(gè)人臉特征點(diǎn)的新位置；x′_I(j)代表第j個(gè)人臉特征點(diǎn)的根據(jù)最佳胖瘦尺度調(diào)整后的新位置，計(jì)算公式如下所示：

x′_I(j)＝x_I(j)(α₀)+δBMI·b_j·n_I(j) 式(4)

x_I(j)(α₀)代表第j個(gè)人臉特征點(diǎn)的原始位置，BMI表示身高體重比差，δBMI代表最佳胖瘦尺度，是第j個(gè)人臉特征點(diǎn)的法向，b表示所有特征點(diǎn)的回歸系數(shù)，b＝{b_j}，j＝1～52的整數(shù)；

E_3DMM(Y，α)的計(jì)算公式如下所示：

其中，∈是由P_id的特征向量構(gòu)成的對(duì)角矩陣，是人臉身份特征參數(shù)α的正則項(xiàng)；

E_ID(Y)的計(jì)算公式如下所示：

其中Δ()是拉普拉斯算子；

S33、將表情P_expβ添加到最優(yōu)解Y，得到最佳胖瘦三維人臉模型；

S4、根據(jù)人臉姿態(tài)參數(shù)，將帶紋理的最佳胖瘦的三維模型投影到二維平面上，得到最佳胖瘦的人臉；所述的帶紋理的最佳胖瘦三維人臉模型根據(jù)紋理映射得到；

S5、通過(guò)前后背景融合算法，使最佳胖瘦的人臉無(wú)縫嵌入到人臉肖像圖像中，得到最佳胖瘦人臉肖像圖像。