[發(fā)明專利]一種基于FP-SCGAN模型的妝容風(fēng)格遷移方法

在審

• 申請?zhí)枺?/td>: 202210488449.1
• 申請日: 2022-05-06
• 公開（公告）號(hào): CN114863527A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 李妹納;杭麗君;熊攀
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/80;G06N3/04;G06V10/82
• 代理公司: 浙江永鼎律師事務(wù)所 33233
• 代理人: 金肯晗

本發(fā)明公開了一種基于FP?SCGAN模型的妝容風(fēng)格遷移方法，將特征金字塔與SCGAN算法結(jié)合。FP?SCGAN網(wǎng)絡(luò)共包括四個(gè)部分：PSEnc、FIEnc、MFDec以及馬爾可夫判別器。PSEnc用于提取參考妝容特征，F(xiàn)IEnc用于提取待遷移圖片的面部特征，MFDec用于將原圖臉部特征和參考圖像的妝容特征進(jìn)行融合，馬爾可夫判別器用于度量生成分布與實(shí)際分布之間的距離。該改進(jìn)算法能夠解決妝容遷移時(shí)眼眶存在不自然的邊緣，較淡的眼妝無法遷移等問題，相比較于目前主流的SCGAN妝容遷移算法，遷移效果得到提升。

技術(shù)領(lǐng)域

本發(fā)明屬于妝容遷移方法技術(shù)領(lǐng)域，涉及一種基于FP-SCGAN模型的妝容風(fēng)格遷移方法。

背景技術(shù)

計(jì)算機(jī)視覺是深度學(xué)習(xí)領(lǐng)域最熱門的研究領(lǐng)域之一，目前在各領(lǐng)域應(yīng)用廣泛。伴隨著圖像處理算法發(fā)展應(yīng)用，短視頻行業(yè)發(fā)展也隨之加速，出現(xiàn)了越來越多的相機(jī)濾鏡、美顏、特效等功能，吸引了大量用戶。這些功能的應(yīng)用，都與圖像處理算法中的風(fēng)格遷移算法密不可分。

圖像風(fēng)格遷移的目標(biāo)是將參考圖片的風(fēng)格遷移到另一張圖片或多張圖片中。在神經(jīng)網(wǎng)絡(luò)之前，圖像風(fēng)格遷移有一個(gè)共同的思路：分析某一種風(fēng)格的圖像，建立一個(gè)數(shù)學(xué)或者統(tǒng)計(jì)模型，再改變要做遷移的圖像讓它能更好的符合建立的模型。但這樣做有一個(gè)很大的缺點(diǎn)：一個(gè)程序基本只能做某一種風(fēng)格或者某一個(gè)場景。因此基于傳統(tǒng)風(fēng)格遷移研究的實(shí)際應(yīng)用非常有限。目前，風(fēng)格遷移算法主要是基于深度學(xué)習(xí)，采用神經(jīng)網(wǎng)絡(luò)對風(fēng)格圖像以及待遷移圖像進(jìn)行特征提取，特征融合后上采樣還原圖像，實(shí)現(xiàn)風(fēng)格遷移。

當(dāng)前有許多風(fēng)格遷移算法著重研究人臉屬性的遷移，其中妝容遷移時(shí)一種典型的人臉屬性遷移?；贕AN的妝容遷移算法在眾多算法中有著非常好的表現(xiàn)。SCGAN可以很好地將參考妝容遷移到目標(biāo)圖像上，即使對于妝容位置差異很大的目標(biāo)依然能產(chǎn)生很好的遷移效果。但是遷移的過程中容易出現(xiàn)眼眶存在不自然的邊緣，較淡的眼妝無法遷移等問題。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的不足，提出一種基于FP-SCGAN模型的妝容風(fēng)格遷移方法，結(jié)合特征金字塔與SCGAN的生成妝容遷移網(wǎng)絡(luò)FP-SCGAN，可以有效地解決這些問題，使遷移效果得到提升。包括以下步驟：

其FP-SCGAN網(wǎng)絡(luò)包括PSEnc、FIEnc、MFDec以及馬爾可夫判別器，網(wǎng)絡(luò)的訓(xùn)練在生成器G與判別器D的相互博弈中進(jìn)行，最終達(dá)到動(dòng)態(tài)平衡時(shí)網(wǎng)絡(luò)即收斂，訓(xùn)練具體包括以下步驟：

S10，得到風(fēng)格特征：將未上妝圖像x與已上妝圖像y送入FIEnc中，經(jīng)過特征提取、下采樣和殘差模塊得到待遷移圖片的面部特征c_x，c_y，并將妝容參考圖像的關(guān)鍵區(qū)域送入PSEnc中，經(jīng)過預(yù)訓(xùn)練VGG19網(wǎng)絡(luò)進(jìn)行特征提取以及特征金字塔對特征進(jìn)行融合，得到風(fēng)格特征s_x,s_y；

S20，得到參考妝容圖像與待遷移圖像融合的特征：將得到的風(fēng)格特征送入到多層感知器中，使風(fēng)格特征映射到特征空間，得到風(fēng)格特征編碼code_x,code_y，將得到的待遷移圖片的面部特征以及風(fēng)格特征編碼送入MFDec中通過解碼器AdaIN進(jìn)行特征融合；同時(shí)，MFDec的淺層中使用AdaIN來引入特征，經(jīng)過MFDec網(wǎng)絡(luò)得到參考妝容圖像與待遷移圖像融合的特征x_y,y_x,x_x,y_y；

S30，優(yōu)化判別器和生成器：固定生成器G的參數(shù)，計(jì)算生成器損失，用于優(yōu)化判別器D，使得判別器D的辨別能力增強(qiáng)，隨后進(jìn)行反向傳播，更新判別器參數(shù),共有兩個(gè)判別器，分別用于判別生成的上妝圖像與去妝圖像，二者結(jié)構(gòu)上相同；固定判別器D的參數(shù)，計(jì)算判別器損失，用于優(yōu)化生成器G，使得生成器G對判別器D的欺騙能力增強(qiáng)；