[發(fā)明專利]一種人像風(fēng)格遷移方法

在審

• 申請?zhí)枺?/td>: 202011427405.5
• 申請日: 2020-12-07
• 公開（公告）號: CN112529771A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計）人: 張娟;續(xù)兆攀;周明全
• 申請（專利權(quán)）人: 陜西師范大學(xué)
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/50;G06T5/30;G06T7/194;G06T7/136;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 西安創(chuàng)知專利事務(wù)所 61213
• 代理人: 衛(wèi)蘇晶

本發(fā)明公開了一種人像風(fēng)格遷移方法，該方法包括以下步驟：一、獲取內(nèi)容圖像；二、風(fēng)格遷移總損失函數(shù)的建立：通過內(nèi)容損失、風(fēng)格損失、總變差正則化損失和正則懲罰項，得到總損失函數(shù)；三、生成圖像的迭代優(yōu)化：計算機(jī)采用梯度下降法，利用總損失函數(shù)對初始的生成圖像進(jìn)行迭代優(yōu)化，得到風(fēng)格遷移圖像。本發(fā)明方法步驟簡單，設(shè)計合理，通過內(nèi)容損失、風(fēng)格損失、總變差正則化損失和正則懲罰項作為總損失函數(shù)，從而采用梯度下降法進(jìn)行迭代優(yōu)化，以使最后的風(fēng)格遷移圖像與內(nèi)容圖像和風(fēng)格圖像相似，提高了人像風(fēng)格遷移的質(zhì)量和效果。

技術(shù)領(lǐng)域

本發(fā)明屬于人像風(fēng)格遷移技術(shù)領(lǐng)域，尤其是涉及一種人像風(fēng)格遷移方法。

背景技術(shù)

圖像風(fēng)格遷移是指利用算法學(xué)習(xí)著名畫作的風(fēng)格,然后再把這種風(fēng)格應(yīng)用到另外一張圖片上的技術(shù)。風(fēng)格遷移技術(shù)在圖像處理、游戲制作、電影特效渲染等工業(yè)領(lǐng)域得到廣泛應(yīng)用。隨著人工智能研究的快速進(jìn)步，受到卷積神經(jīng)網(wǎng)絡(luò)的啟發(fā)，利用深度學(xué)習(xí)將普通圖像渲染為具有藝術(shù)風(fēng)格圖像的方法，這種方式合成風(fēng)格化圖像效果出色而且不需要對每種風(fēng)格單獨建模解決了傳統(tǒng)方法建模效率低下與風(fēng)格化效果不佳的缺陷，引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，隨后產(chǎn)生了大量的研究與應(yīng)用成果。風(fēng)格遷移技術(shù)的基本思想是利用深度神經(jīng)網(wǎng)絡(luò)分別提取圖像的風(fēng)格紋理與語義內(nèi)容信息，然后再將兩者融合為一張圖片。使之同時擁有藝術(shù)風(fēng)格圖像的紋理與普通圖像的內(nèi)容，實現(xiàn)圖像的風(fēng)格化渲染。深度學(xué)習(xí)風(fēng)格遷移算法網(wǎng)絡(luò)可以通過將圖像渲染為任意藝術(shù)風(fēng)格不需要針對特定風(fēng)格類型單獨建模。然而基于深度學(xué)習(xí)的風(fēng)格遷移算法目前問題主要有：僅通過內(nèi)容損失和風(fēng)格損失進(jìn)行迭代優(yōu)化，導(dǎo)致很多情況下，特別是對于人物的風(fēng)格遷移，效果很不理想。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于針對上述現(xiàn)有技術(shù)中的不足，提供一種人像風(fēng)格遷移方法，其方法步驟簡單，設(shè)計合理，通過內(nèi)容損失、風(fēng)格損失、總變差正則化損失和正則懲罰項作為總損失函數(shù)而進(jìn)行迭代優(yōu)化，以使最后的風(fēng)格遷移圖像與內(nèi)容圖像和風(fēng)格圖像相似，提高了人像風(fēng)格遷移的質(zhì)量和效果。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：一種人像風(fēng)格遷移方法，其特征在于：

步驟一、獲取內(nèi)容圖像：

步驟101、采用攝像機(jī)在純色背景下對人物進(jìn)行拍攝，獲取人物圖像；其中，人物圖像的大小為A×C個像素點，且A大于C，A和C均為正整數(shù)，其中，A表示行，C表示列；

步驟102、計算機(jī)對人物圖像進(jìn)行背景和前景分離，得到優(yōu)化后的二值化人物圖像；其中，優(yōu)化后的二值化人物圖像為人物圖像；

步驟103、從計算機(jī)的背景圖像庫中選擇背景圖像；其中，背景圖像的大小為A×C個像素點；

步驟104、計算機(jī)根據(jù)優(yōu)化后的二值化人物圖像，將人物圖像中的人物區(qū)域與背景圖像合成，得到合成人物圖像，并將合成人物圖像作為內(nèi)容圖像；

步驟二、風(fēng)格遷移總損失函數(shù)的建立：

步驟201、隨機(jī)生成白噪聲圖像作為初始的生成圖像；

步驟202、選取卷積神經(jīng)網(wǎng)絡(luò)VGG19作為原始模型；其中，卷積神經(jīng)網(wǎng)絡(luò)VGG19包括16個卷積層和5個池化層，16個卷積層分別為Relu1_1卷積層，Relu1_2卷積層；Relu2_1卷積層，Relu2_2卷積層；Relu3_1卷積層，Relu3_2卷積層，Relu3_3卷積層，Relu3_4卷積層；Relu4_1卷積層，Relu4_2卷積層，Relu4_3卷積層，Relu4_4卷積層；Relu5_1卷積層，Relu5_2卷積層，Relu5_3卷積層，Relu5_4卷積層；

步驟203、計算機(jī)獲取內(nèi)容損失，具體過程如下：

步驟2031、將內(nèi)容圖像和初始的生成圖像輸入原始模型，并設(shè)定內(nèi)容圖像經(jīng)Relu4_1卷積層輸出第4_1層內(nèi)容特征圖，內(nèi)容圖像經(jīng)Relu5_1卷積層輸出第5_1層內(nèi)容特征圖；