[發(fā)明專利]一種人像風(fēng)格遷移方法

在審

• 申請?zhí)枺?/td>: 202011427405.5
• 申請日: 2020-12-07
• 公開（公告）號: CN112529771A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計）人: 張娟;續(xù)兆攀;周明全
• 申請（專利權(quán)）人: 陜西師范大學(xué)
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/50;G06T5/30;G06T7/194;G06T7/136;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 西安創(chuàng)知專利事務(wù)所 61213
• 代理人: 衛(wèi)蘇晶

1.一種人像風(fēng)格遷移方法，其特征在于，該方法包括以下步驟：

步驟一、獲取內(nèi)容圖像：

步驟101、采用攝像機在純色背景下對人物進行拍攝，獲取人物圖像；其中，人物圖像的大小為A×C個像素點，且A大于C，A和C均為正整數(shù)，其中，A表示行，C表示列；

步驟102、計算機對人物圖像進行背景和前景分離，得到優(yōu)化后的二值化人物圖像；其中，優(yōu)化后的二值化人物圖像為人物圖像；

步驟103、從計算機的背景圖像庫中選擇背景圖像；其中，背景圖像的大小為A×C個像素點；

步驟104、計算機根據(jù)優(yōu)化后的二值化人物圖像，將人物圖像中的人物區(qū)域與背景圖像合成，得到合成人物圖像，并將合成人物圖像作為內(nèi)容圖像；

步驟二、風(fēng)格遷移總損失函數(shù)的建立：

步驟201、隨機生成白噪聲圖像作為初始的生成圖像；

步驟202、選取卷積神經(jīng)網(wǎng)絡(luò)VGG19作為原始模型；其中，卷積神經(jīng)網(wǎng)絡(luò)VGG19包括16個卷積層和5個池化層，16個卷積層分別為Relu1_1卷積層，Relu1_2卷積層；Relu2_1卷積層，Relu2_2卷積層；Relu3_1卷積層，Relu3_2卷積層，Relu3_3卷積層，Relu3_4卷積層；Relu4_1卷積層，Relu4_2卷積層，Relu4_3卷積層，Relu4_4卷積層；Relu5_1卷積層，Relu5_2卷積層，Relu5_3卷積層，Relu5_4卷積層；

步驟203、計算機獲取內(nèi)容損失，具體過程如下：

步驟2031、將內(nèi)容圖像和初始的生成圖像輸入原始模型，并設(shè)定內(nèi)容圖像經(jīng)Relu4_1卷積層輸出第4_1層內(nèi)容特征圖，內(nèi)容圖像經(jīng)Relu5_1卷積層輸出第5_1層內(nèi)容特征圖；

設(shè)定初始的生成圖像經(jīng)Relu4_1卷積層輸出第4_1層生成特征圖，初始的生成圖像經(jīng)Relu5_1卷積層輸出第5_1層生成特征圖；其中，第4_1層內(nèi)容特征圖、第5_1層內(nèi)容特征圖、第4_1層生成特征圖和第5_1層生成特征圖的數(shù)量均為N，且N＝512；

步驟2032、計算機根據(jù)公式得到第n個第4_1層內(nèi)容特征圖和第n個第4_1層生成特征圖之間的內(nèi)容損失L_n,4；其中，表示第n個第4_1層內(nèi)容特征圖中(i,j)處的特征值，表示第n個第4_1層生成特征圖中(i,j)處的特征值，i,j,n均為正整數(shù)，且1≤i≤I，1≤j≤J，I表示第4_1層內(nèi)容特征圖或者第4_1層生成特征圖的總列數(shù)，J表示第4_1層內(nèi)容特征圖或者第4_1層生成特征圖的總行數(shù)，1≤n≤N；

計算機根據(jù)公式得到第n個第5_1層內(nèi)容特征圖和第n個第5_1層生成特征圖之間的內(nèi)容損失L_n,5；其中，表示第n個第5_1層內(nèi)容特征圖中(i′,j′)處的特征值，表示第n個第5_1層生成特征圖中(i′,j′)處的特征值，i′,j′均為正整數(shù)，且1≤i′≤I′，1≤j′≤J′，I′表示第5_1層內(nèi)容特征圖或者第5_1層生成特征圖的總列數(shù)，J′表示第5_1層內(nèi)容特征圖或者第5_1層生成特征圖的總行數(shù)；

步驟2033、計算機根據(jù)公式得到內(nèi)容損失L_c；

步驟204、計算機獲取風(fēng)格損失，具體過程如下：

步驟2041、計算機將第一遮罩層覆蓋在風(fēng)格圖像上，生成第一遮罩風(fēng)格圖像；計算機將第二遮罩層覆蓋在風(fēng)格圖像上，生成第二遮罩風(fēng)格圖像；其中，第一遮罩層中人物區(qū)域的透明度設(shè)置為100％，第一遮罩層中背景區(qū)域的透明度設(shè)置為0；第二遮罩層中人物區(qū)域的透明度設(shè)置為0，第二遮罩層中背景區(qū)域的透明度設(shè)置為100％，第一遮罩層和第二遮罩層中背景區(qū)域均為白色，第一遮罩層中和第二遮罩層中人物區(qū)域均為黑色；

步驟2042、計算機將第一遮罩層覆蓋在初始的生成圖像上，生成第一遮罩生成圖像，計算機將第二遮罩層覆蓋在初始的生成圖像上，生成第二遮罩生成圖像；

步驟2043、計算機將第一遮罩風(fēng)格圖像、第二遮罩風(fēng)格圖像、第一遮罩生成圖像和第二遮罩生成圖像輸入原始模型，且分別經(jīng)Relu1_1卷積層、Relu2_1卷積層、Relu3_1卷積層、Relu4_1卷積層和Relu5_1卷積層輸出的特征圖進行風(fēng)格損失的獲取方法相同，其中，對經(jīng)Relu c_1卷積層輸出的特征圖進行風(fēng)格損失的獲取，具體過程如下：

步驟20431、設(shè)定第一遮罩風(fēng)格圖像、第二遮罩風(fēng)格圖像、第一遮罩生成圖像和第二遮罩生成圖像分別經(jīng)Relu c_1卷積層輸出第c_1層第一遮罩風(fēng)格特征圖、第c_1層第二遮罩風(fēng)格特征圖、第c_1層第一遮罩生成特征圖和第c_1層第二遮罩生成特征圖；且第c_1層第一遮罩風(fēng)格特征圖，第c_1層第二遮罩風(fēng)格特征圖、第c_1層第一遮罩生成特征圖和第c_1層第二遮罩生成特征圖的數(shù)量均為N_c；其中，c為正整數(shù)，且1≤c≤5；

步驟20432、計算機獲取N_c個第c_1層第一遮罩風(fēng)格特征圖的格拉姆矩陣且中第a_c行第b_c列元素值記作且表示N_c個第c_1層第一遮罩風(fēng)格特征圖中第a_c個第c_1層第一遮罩風(fēng)格特征圖和第b_c個第c_1層第一遮罩風(fēng)格特征圖之間的互相關(guān)程度，a_c和b_c均為正整數(shù)，且1≤a_c≤N_c，1≤b_c≤N_c；

獲取N_c個第c_1層第二遮罩風(fēng)格特征圖的格拉姆矩陣且中第a_c行第b_c列元素值記作且表示N_c個第c_1層第二遮罩風(fēng)格特征圖中第a_c個第c_1層第二遮罩風(fēng)格特征圖和第b_c個第c_1層第二遮罩風(fēng)格特征圖之間的互相關(guān)程度；

獲取N_c個第c_1層第一遮罩生成特征圖的格拉姆矩陣且中第a_c行第b_c列元素值記作且表示N_c個第c_1層第一遮罩生成特征圖中第a_c個第c_1層第一遮罩生成特征圖和第b_c個第c_1層第一遮罩生成特征圖之間的互相關(guān)程度；

獲取N_c個第c_1層第二遮罩生成特征圖的格拉姆矩陣且中第a_c行第b_c列元素值記作且表示N_c個第c_1層第二遮罩生成特征圖中第a_c個第c_1層第二遮罩生成特征圖和第b_c個第c_1層第二遮罩生成特征圖之間的互相關(guān)程度；

步驟20433、計算機根據(jù)公式，得到第c_1層生成特征圖的風(fēng)格損失L_s,c-1；

步驟20434、計算機根據(jù)公式得到風(fēng)格損失L_s；

步驟205、計算機根據(jù)公式得到總變差正則化損失L_tv；其中，R_i″,j″、G_i″,j″和B_i″,j″表示初始的生成圖像中(i″,j″)像素坐標(biāo)處的R分量、G分量和B分量，R_i″,j″+1、G_i″,j″+1和B_i″,j″+1表示初始的生成圖像中(i″,j″+1)像素坐標(biāo)處的R分量、G分量和B分量，R_i″+1,j″、G_i″+1,j″和B_i″+1,j″表示初始的生成圖像中(i″+1,j″)像素坐標(biāo)處的R分量、G分量和B分量，i″,j″均為正整數(shù)，且1≤i″≤C，1≤j″≤A；

步驟206、計算機根據(jù)公式得到正則懲罰項L_m；

其中，e為正整數(shù)，且e取值為1,2和3，當(dāng)e＝1，表示初始的生成圖像的R通道，V₁(o)表示初始的生成圖像的R分量矩陣經(jīng)PCA降維的向量化；當(dāng)e＝2，表示初始的生成圖像的G通道，V₂(o)表示初始的生成圖像的G分量矩陣經(jīng)PCA降維的向量化；當(dāng)e＝3，表示初始的生成圖像的B通道，V₃(o)表示初始的生成圖像的B分量矩陣經(jīng)PCA降維的向量化，M_I表示內(nèi)容圖像的拉普拉斯矩陣；

步驟207、計算機根據(jù)公式L_total＝αL_c+ρL_s+γL_tv+L_m，得到總損失函數(shù)L_total；其中，α表示內(nèi)容損失的加權(quán)系數(shù)，ρ表示風(fēng)格損失的加權(quán)系數(shù)，γ表示總變差正則化損失的權(quán)重；

步驟三、生成圖像的迭代優(yōu)化：

步驟301、計算機采用梯度下降法，利用總損失函數(shù)對初始的生成圖像進行迭代優(yōu)化；

步驟302、重復(fù)步驟301迭代優(yōu)化直至滿足迭代優(yōu)化預(yù)設(shè)次數(shù)，得到風(fēng)格遷移圖像。