[發(fā)明專利]一種名為MSGAN的圖像的季節(jié)風(fēng)格轉(zhuǎn)換模型及方法

在審

• 申請?zhí)枺?/td>: 202010106255.1
• 申請日: 2020-02-21
• 公開（公告）號: CN111325661A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計）人: 張福泉;王傳勝;林強;王冰
• 申請（專利權(quán)）人: 京工數(shù)演（福州）科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學(xué)俊

本發(fā)明涉及一種名為MSGAN的圖像的季節(jié)風(fēng)格轉(zhuǎn)換模型及方法，包括生成器G、生成器F、第一真假鑒別器D_G、第二真假鑒別器D_F以及季節(jié)鑒別器D_S。生成器的目標是將輸入的圖像轉(zhuǎn)化為其他特定的季節(jié)風(fēng)格。真假鑒別器的作用是區(qū)分圖像是否為合成圖像。季節(jié)鑒別器對每個合成的圖像和真實的圖像進行季節(jié)分類。這兩個鑒別器分別都可以對生成器提供指導(dǎo)。為了給出網(wǎng)絡(luò)正確的優(yōu)化方向，MSGAN分別使用了風(fēng)格損失，結(jié)構(gòu)相似度損失和顏色損失去提高生成器的生成能力。不僅如此，MSGAN還首次使用了圖像的顯著性信息來對圖像風(fēng)格轉(zhuǎn)換任務(wù)進行指導(dǎo)，使得圖像風(fēng)格轉(zhuǎn)換的結(jié)果更加符合人眼真實的情況。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是一種名為MSGAN的圖像的季節(jié)風(fēng)格轉(zhuǎn)換模型及方法。

背景技術(shù)

近幾年來，卡通、動漫、3D電影已經(jīng)成為了深受人們喜愛的藝術(shù)形式，它們的優(yōu)點在于可以通過計算機軟件來進行人物形象和場景的設(shè)計并用它們?nèi)パ堇[劇本。在動漫作品不僅需要設(shè)計人員對人物形象進行設(shè)計，還需要對作品中出現(xiàn)的場景進行繪制。由于故事情節(jié)的復(fù)雜性和多樣性，同一場景的季節(jié)風(fēng)格也會經(jīng)常隨著劇情而發(fā)生季節(jié)轉(zhuǎn)化。不僅是動漫作品，許多常規(guī)的電影或者電視劇也需要此類特效。然而，設(shè)計人員手動的利用電腦軟件來完成季節(jié)轉(zhuǎn)換任務(wù)是一項很耗時的，并且需要很多相關(guān)的軟件技巧。因此，設(shè)計一種特殊的算法來使電影或卡通場景中的季節(jié)場景可以自動的進行轉(zhuǎn)換是一項重要的任務(wù)，可以減輕大多數(shù)的影視作品的制作成本和時間，以至于可以令工作者們可以專注于與影視作品有關(guān)的其他工作。不僅如此，該算法還能嵌入到一些軟件中來提升該軟件的性能，比如Photoshop。

將圖片進行風(fēng)格遷移，使其進行風(fēng)格轉(zhuǎn)換的技術(shù)已經(jīng)成為了近幾年來研究的熱點問題。傳統(tǒng)的方法致力于去設(shè)計一個特定的圖像濾波算法，從而將原始圖像遷移到固定的令一種風(fēng)格當(dāng)中。然而，許多復(fù)雜的風(fēng)格轉(zhuǎn)換任務(wù)需要將原始圖像轉(zhuǎn)化成為多種不同風(fēng)格的圖像，比如季節(jié)轉(zhuǎn)換任務(wù)。因此，固定的圖像濾波算法無法完成這一任務(wù)。最近，基于深度學(xué)習(xí)的圖像風(fēng)格遷移方法成為了主流方法，這種方法可以將輸入的圖像的風(fēng)格轉(zhuǎn)移到給定的風(fēng)格當(dāng)中。特別是生成式對抗網(wǎng)絡(luò)可以取得很好的圖像風(fēng)格遷移效果。

盡管生成式對抗網(wǎng)絡(luò)已經(jīng)取得了重大的成功，可是目前的方法并不能去很好的完成季節(jié)風(fēng)格遷移任務(wù)。這其中主要是有三個原因：首先，季節(jié)轉(zhuǎn)換與其他風(fēng)格轉(zhuǎn)換任務(wù)不同，有些時候需要在原圖中添加或者減少某些元素，例如冬季場景下的圖像要比其他季節(jié)圖像里增加一些雪和減少一些樹葉，這在風(fēng)格遷移任務(wù)中是一個難點。第二，一般來說季節(jié)變化的主要特征是顏色的變換，而大多數(shù)的圖像風(fēng)格遷移都是專注于對原始圖像中增加圖像的紋理，而忽略了顏色的變化。第三，在進行季節(jié)風(fēng)格轉(zhuǎn)換時，不同的內(nèi)容受季節(jié)變化影響的程度不同，比如樹葉分別在春季和秋季時呈現(xiàn)綠色和黃色，而樹干的顏色卻并沒有多大變化，但傳統(tǒng)的圖像風(fēng)格遷移算法又很難對圖像的內(nèi)容進行識別。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是提出一種名為MSGAN的圖像的季節(jié)風(fēng)格轉(zhuǎn)換模型及方法，該模型能夠使用對未配對的不同季節(jié)的圖像進行訓(xùn)練，同時能夠產(chǎn)生出更好的季節(jié)風(fēng)格轉(zhuǎn)換效果。

本發(fā)明采用以下方案實現(xiàn)：一種名為MSGAN的圖像的季節(jié)風(fēng)格轉(zhuǎn)換模型，其特征在于，包括生成器G、生成器F、第一真假鑒別器D_G、第二真假鑒別器D_F以及季節(jié)鑒別器D_S；

所述生成器G的輸入包括輸入圖像以及攜帶輸入的季節(jié)風(fēng)格信息的條件向量，所述生成器G將輸入的圖像轉(zhuǎn)化為由條件向量確定的季節(jié)風(fēng)格的圖像；所述第一真假鑒別器D_G區(qū)分生成器G轉(zhuǎn)換后的圖像是否為合成圖像，并將結(jié)果反饋給生成器G，用以對生成器G提供指導(dǎo)；所述季節(jié)鑒別器D_S對每個合成的圖像或真實的圖像進行季節(jié)分類，并將結(jié)果反饋給生成器G，用以對生成器G提供指導(dǎo)；