[發(fā)明專利]一種基于正投影特征變換的俯視人臉矯正方法

有效

• 申請?zhí)枺?/td>: 201910285207.0
• 申請日: 2019-04-10
• 公開（公告）號: CN110059602B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計）人: 王中元;王南西;梁超;傅佑銘
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/52;G06K9/62
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 魏波

1.一種基于正投影特征變換的俯視人臉矯正方法，其特征在于，包括以下步驟：

步驟1：利用正投影特征變換網(wǎng)絡(luò)對俯視人臉進(jìn)行矯正，得到矯正后的正臉圖像；

步驟1的具體實現(xiàn)包括以下子步驟：

步驟1.1：將俯視角度的人臉圖像輸入到ResNet-18網(wǎng)絡(luò)中，對圖像進(jìn)行特征提取，得到不同尺度的特征圖；

步驟1.2：將不同尺度的特征圖，映射到3D空間中得到正交特征映射，再通過折疊體素特征產(chǎn)生正交平面特征；

正投影特征變換通過在投影的體素區(qū)域上累積圖像特征f(u,v)來生成體素特征g(x,y,z)，然后沿垂直方向折疊體素特征來產(chǎn)生正交平面特征h(x,z)；其中，u、v是二維圖像特征的坐標(biāo)，x、y、z是三維體素特征的坐標(biāo)；

對于給定的體素網(wǎng)格位置(x，y，z)，每個體素被投影到圖像平面的六邊形區(qū)域，通過一個帶有左上角(u₁，v₁)和右下角(u₂，v₂)的矩形邊界框來估計，由下式給出：

其中，每個體素是尺寸為r的立方體，f是攝像機(jī)焦距，(c_u，c_v)是原點；

然后，通過對投影體素邊界框的平均匯集，將特征分配給體素特征映射g中的適當(dāng)位置：

進(jìn)而將3D體素特征圖折疊回二維平面特征圖h(x,z)；先學(xué)習(xí)一組權(quán)重矩陣W(y)，然后沿垂直軸對體素特征加權(quán)求和獲得平面特征圖：

其中，y₀為相機(jī)到地面距離，H為圖像的高度；

步驟1.3：通過由一系列ResNet單元組成的自頂向下網(wǎng)絡(luò)，對正投影特征變換后的平面特征圖進(jìn)行處理，將網(wǎng)絡(luò)最后一層的輸出設(shè)置為3通道輸出，生成RGB圖像，得到矯正后的正臉圖片；

步驟2：將矯正后的正臉圖像與真實正臉進(jìn)行對抗訓(xùn)練，優(yōu)化正投影特征變換網(wǎng)絡(luò)，最終產(chǎn)生更精確的正面人臉圖像；

步驟2的具體實現(xiàn)包括以下子步驟：

步驟2.1：引入鑒別器D來區(qū)分真實正面圖像與步驟1中的“矯正后的正臉圖像”；

步驟2.2：利用步驟1中的“矯正后的正臉圖像”和真實正面圖像進(jìn)行訓(xùn)練，設(shè)置合理閾值，若步驟1中的“矯正后的正臉圖像”與真實圖像的差大于閾值，則反向傳播調(diào)節(jié)正投影特征變換網(wǎng)絡(luò)參數(shù)；其中，參數(shù)包括ResNet單元的權(quán)重和偏置，調(diào)節(jié)方法采用深度學(xué)習(xí)的隨機(jī)梯度下降方法；

步驟2.3：重復(fù)步驟2.2，迭代優(yōu)化正投影特征變換網(wǎng)絡(luò)的參數(shù)，直到訓(xùn)練過程收斂，最終產(chǎn)生更精確的正面人臉圖像。