[發(fā)明專利]一種圖像風(fēng)格遷移模型生成方法及移動終端

在審

• 申請?zhí)枺?/td>: 201810202121.2
• 申請日: 2018-03-12
• 公開（公告）號: CN108537776A
• 公開（公告）日: 2018-09-14
• 發(fā)明（設(shè)計）人: 郭偉偉
• 申請（專利權(quán)）人: 維沃移動通信有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 王洪

1.一種圖像風(fēng)格遷移模型生成方法，其特征在于，所述方法包括：

構(gòu)建風(fēng)格訓(xùn)練數(shù)據(jù)對，其中，每個數(shù)據(jù)對包含一個訓(xùn)練原圖和一個風(fēng)格圖；

搭建結(jié)構(gòu)順序依次為輸入層、前置層、至少一個殘差特征構(gòu)建層、后置層以及輸出層的神經(jīng)網(wǎng)絡(luò)；

基于訓(xùn)練原圖和風(fēng)格圖的均方差損失和深度感知特征的均方差損失，構(gòu)建損失函數(shù)；

按照所述風(fēng)格訓(xùn)練數(shù)據(jù)對和所述損失函數(shù)，對所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，生成圖像風(fēng)格遷移模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述搭建結(jié)構(gòu)順序依次為輸入層、前置層、至少一個殘差特征構(gòu)建層、后置層以及輸出層的神經(jīng)網(wǎng)絡(luò)之后，所述方法還包括：

分別對所述神經(jīng)網(wǎng)絡(luò)中的所述前置層、所述后置層以及各殘差特征構(gòu)建層進(jìn)行深度可分離卷積和點卷積處理，進(jìn)行參數(shù)調(diào)整。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于：

所述前置層包含五層卷積層；

所述后置層包含五層卷積層；

每個殘差特征構(gòu)建層均包含三層卷積層。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述依據(jù)所述風(fēng)格訓(xùn)練數(shù)據(jù)對和所述損失函數(shù)，對所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，生成圖像風(fēng)格遷移模型，包括：

逐個將每個所述風(fēng)格訓(xùn)練數(shù)據(jù)對輸入至所述神經(jīng)網(wǎng)絡(luò)中；

對于輸入的每個風(fēng)格訓(xùn)練數(shù)據(jù)對，通過所述神經(jīng)網(wǎng)絡(luò)對所述風(fēng)格訓(xùn)練數(shù)據(jù)對中的訓(xùn)練原圖進(jìn)行處理，得到結(jié)果圖；

通過預(yù)先訓(xùn)練好的深層感知特征網(wǎng)絡(luò)，對所述結(jié)果圖和所述風(fēng)格訓(xùn)練數(shù)據(jù)對中的風(fēng)格圖進(jìn)行感知特征提取，得到感知特征圖；

將所述感知特征圖、所述結(jié)果圖依據(jù)所述風(fēng)格圖代入所述損失函數(shù)，生成目標(biāo)損失函數(shù)；

按照目標(biāo)損失函數(shù)，調(diào)整所述神經(jīng)網(wǎng)絡(luò)的參數(shù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述生成圖像風(fēng)格遷移模型之后，所述方法還包括：

將待處理圖像輸入至所述圖像風(fēng)格遷移模型；

通過所述圖像風(fēng)格遷移模型，對所述待處理圖像進(jìn)行風(fēng)格遷移，輸出所述待處理圖像對應(yīng)的風(fēng)格遷移圖像。

6.一種移動終端，其特征在于，所述移動終端包括：

構(gòu)建模塊，用于構(gòu)建風(fēng)格訓(xùn)練數(shù)據(jù)對，其中，每個數(shù)據(jù)對包含一個訓(xùn)練原圖和一個風(fēng)格圖；

搭建模塊，用于搭建結(jié)構(gòu)順序依次為輸入層、前置層、至少一個殘差特征構(gòu)建層、后置層以及輸出層的神經(jīng)網(wǎng)絡(luò)；

損失函數(shù)構(gòu)建模塊，用于基于訓(xùn)練原圖和風(fēng)格圖的均方差損失和深度感知特征的均方差損失，構(gòu)建損失函數(shù)；

訓(xùn)練模塊，用于按照所述風(fēng)格訓(xùn)練數(shù)據(jù)對和所述損失函數(shù)，對所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，生成圖像風(fēng)格遷移模型。

7.根據(jù)權(quán)利要求6所述的移動終端，其特征在于，所述移動終端還包括：

優(yōu)化模塊，用于在所述搭建模塊搭建結(jié)構(gòu)順序依次為輸入層、前置層、至少兩個殘差特征構(gòu)建層、后置層以及輸出層的神經(jīng)網(wǎng)絡(luò)之后，分別對所述神經(jīng)網(wǎng)絡(luò)中的所述前置層、所述后置層以及各殘差特征構(gòu)建層進(jìn)行深度可分離卷積和點卷積處理，進(jìn)行參數(shù)調(diào)整。

8.根據(jù)權(quán)利要求6所述的移動終端，其特征在于：

所述前置層包含五層卷積層；

所述后置層包含五層卷積層；

每個殘差特征構(gòu)建層均包含三層卷積層。

9.根據(jù)權(quán)利要求6所述的移動終端，其特征在于，所述訓(xùn)練模塊包括：

輸入子模塊，用于逐個將每個所述風(fēng)格訓(xùn)練數(shù)據(jù)對輸入至所述神經(jīng)網(wǎng)絡(luò)中；

調(diào)用子模塊，用于針對輸入的每個風(fēng)格訓(xùn)練數(shù)據(jù)對，通過所述神經(jīng)網(wǎng)絡(luò)對所述風(fēng)格訓(xùn)練數(shù)據(jù)對中的訓(xùn)練原圖進(jìn)行處理，得到結(jié)果圖；

分析子模塊，用于通過預(yù)先訓(xùn)練好的深層感知特征網(wǎng)絡(luò)，對所述結(jié)果圖和所述風(fēng)格訓(xùn)練數(shù)據(jù)對中的風(fēng)格圖進(jìn)行感知特征提取，得到感知特征圖；

生成子模塊，用于將所述感知特征圖、所述結(jié)果圖依據(jù)所述風(fēng)格圖代入所述損失函數(shù)，生成目標(biāo)損失函數(shù)；

調(diào)整子模塊，用于按照目標(biāo)損失函數(shù)，調(diào)整所述神經(jīng)網(wǎng)絡(luò)的參數(shù)。