[發(fā)明專利]一種多角度側(cè)面人臉矯正方法、裝置、計(jì)算機(jī)設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210054981.2
• 申請(qǐng)日: 2022-01-18
• 公開(kāi)（公告）號(hào): CN114399824A
• 公開(kāi)（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 謝劍斌;高峰
• 申請(qǐng)（專利權(quán)）人: 湖南中科助英智能科技研究院有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06K9/62;G06V10/774
• 代理公司: 長(zhǎng)沙國(guó)科天河知識(shí)產(chǎn)權(quán)代理有限公司 43225
• 代理人: 李楊

1.一種多角度側(cè)面人臉矯正方法，其特征在于，所述方法包括：

獲取人臉矯正的訓(xùn)練數(shù)據(jù)集，將所述訓(xùn)練數(shù)據(jù)集中的多角度側(cè)面人臉圖像進(jìn)行預(yù)處理，得到側(cè)面局部圖和縮放后的側(cè)面全局圖；

將所述側(cè)面局部圖和所述側(cè)面全局圖輸入到生成器網(wǎng)絡(luò)中；所述生成器網(wǎng)絡(luò)包括局部網(wǎng)絡(luò)和全局網(wǎng)絡(luò)；所述局部網(wǎng)絡(luò)包括第一局部網(wǎng)絡(luò)和第二局部網(wǎng)絡(luò)；所述第一局部網(wǎng)絡(luò)用于對(duì)所述側(cè)面局部圖進(jìn)行矯正還原，得到正面局部圖；所述第二局部網(wǎng)絡(luò)在每層卷積后添加了注意力加權(quán)調(diào)整通道，通過(guò)所述第二局部網(wǎng)絡(luò)根據(jù)所述側(cè)面局部圖提取邊緣輪廓信息；所述全局網(wǎng)絡(luò)用于根據(jù)所述側(cè)面全局圖得到全局細(xì)節(jié)信息，并根據(jù)所述正面局部圖、所述邊緣輪廓信息和所述全局細(xì)節(jié)信息，得到還原矯正全局圖；

將所述還原矯正全局圖和所述訓(xùn)練數(shù)據(jù)集中對(duì)應(yīng)的真實(shí)全局圖輸入到判別器網(wǎng)絡(luò)中，通過(guò)所述判別器網(wǎng)絡(luò)分別得到所述還原矯正全局圖和所述真實(shí)全局圖的預(yù)測(cè)概率圖；

根據(jù)預(yù)設(shè)的損失函數(shù)、所述還原矯正全局圖和所述真實(shí)全局圖的預(yù)測(cè)概率圖對(duì)所述生成器網(wǎng)絡(luò)和所述判別器網(wǎng)絡(luò)進(jìn)行訓(xùn)練直至收斂，得到訓(xùn)練好的生成器網(wǎng)絡(luò)；

將待矯正的多角度側(cè)面人臉圖輸入所述訓(xùn)練好的生成器網(wǎng)絡(luò)中，得到多角度側(cè)面人臉矯正圖。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取人臉矯正的訓(xùn)練數(shù)據(jù)集，將所述訓(xùn)練數(shù)據(jù)集中的多角度側(cè)面人臉圖像進(jìn)行預(yù)處理，得到側(cè)面局部圖和縮放后的側(cè)面全局圖，包括：

獲取人臉矯正的訓(xùn)練數(shù)據(jù)集；

通過(guò)訓(xùn)練完成的深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)所述訓(xùn)練數(shù)據(jù)集中的多角度側(cè)面人臉圖像進(jìn)行特征點(diǎn)估計(jì)；

根據(jù)左眼、右眼和嘴部的特征點(diǎn)位置坐標(biāo)，計(jì)算得到人臉的旋轉(zhuǎn)角度；

根據(jù)所述旋轉(zhuǎn)角度將人臉以雙眼為基準(zhǔn)旋轉(zhuǎn)至水平位置；

根據(jù)旋轉(zhuǎn)后的圖像上眼睛、鼻部和嘴部的特征點(diǎn)位置，裁剪得到側(cè)面局部圖；

將所述多角度側(cè)面人臉圖像按照預(yù)設(shè)大小進(jìn)行縮放，得到縮放后的側(cè)面全局圖。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一局部網(wǎng)絡(luò)用于對(duì)所述側(cè)面局部圖進(jìn)行矯正還原，得到正面局部圖，包括：

根據(jù)特征點(diǎn)位置提取側(cè)面面部數(shù)據(jù)；所述側(cè)面面部數(shù)據(jù)包括側(cè)面眼睛數(shù)據(jù)、側(cè)面鼻部數(shù)據(jù)、側(cè)面嘴部數(shù)據(jù)和側(cè)面輪廓數(shù)據(jù)；

通過(guò)所述第一局部網(wǎng)絡(luò)根據(jù)所述側(cè)面面部數(shù)據(jù)與訓(xùn)練數(shù)據(jù)集中的正面面部數(shù)據(jù)進(jìn)行像素比對(duì)，由網(wǎng)絡(luò)自學(xué)習(xí)的方式對(duì)所述側(cè)面局部圖進(jìn)行矯正還原，得到正面局部圖；所述正面局部圖包括正面眼睛圖、正面鼻部圖和正面嘴部圖。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述第二局部網(wǎng)絡(luò)在每層卷積后添加了注意力加權(quán)調(diào)整通道，通過(guò)所述第二局部網(wǎng)絡(luò)根據(jù)所述側(cè)面局部圖提取邊緣輪廓信息，包括：

將所述側(cè)面輪廓數(shù)據(jù)輸入所述第二局部網(wǎng)絡(luò)；

通過(guò)所述第二局部網(wǎng)絡(luò)中的注意力加權(quán)調(diào)整通道，在每層卷積后通過(guò)自注意力機(jī)制自注意輪廓像素，學(xué)習(xí)輸出邊緣輪廓信息。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)所述正面局部圖、所述邊緣輪廓信息和所述全局細(xì)節(jié)信息，得到還原矯正全局圖，包括：

將所述正面局部圖中的正面眼睛圖、正面鼻部圖和正面嘴部圖按照固定比例插入到原始局部位置，得到局部拼接圖；

根據(jù)所述局部拼接圖，融合所述邊緣輪廓信息和所述全局細(xì)節(jié)信息，得到還原矯正全局圖。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述全局網(wǎng)絡(luò)的損失函數(shù)包括：對(duì)抗損失、合成損失和身份保留損失。

7.根據(jù)權(quán)利要求1至6任意一項(xiàng)所述的方法，其特征在于，所述判別器網(wǎng)絡(luò)輸出的預(yù)測(cè)概率圖為4ⅹ4概率圖。