[發(fā)明專利]一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611252944.3
• 申請(qǐng)日: 2016-12-30
• 公開（公告）號(hào): CN106651766A
• 公開（公告）日: 2017-05-10
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)領(lǐng)域，尤其是涉及了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移方法。

背景技術(shù)

隨著科技技術(shù)迅速發(fā)展，在深度學(xué)習(xí)研究領(lǐng)域，前饋神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛地用于快速風(fēng)格遷移，將具有藝術(shù)作品上的藝術(shù)風(fēng)格轉(zhuǎn)移到日常照片上已經(jīng)成為在學(xué)術(shù)界和工業(yè)界中非常受歡迎的計(jì)算機(jī)視覺任務(wù)。然而，當(dāng)這些風(fēng)格化網(wǎng)絡(luò)直接應(yīng)用于高分辨率圖像時(shí)，局部區(qū)域的風(fēng)格通?？雌饋聿惶愃朴谄谕乃囆g(shù)風(fēng)格，因?yàn)檗D(zhuǎn)移過程不能捕獲小的，復(fù)雜的紋理并且保持藝術(shù)作品的正確的紋理尺度。而且由于是在線迭代優(yōu)化的過程，遷移運(yùn)行時(shí)間非常長。而如果采用基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，則可以使具有不同藝術(shù)風(fēng)格的任意圖像風(fēng)格化。

本發(fā)明提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，它采用多峰遷移網(wǎng)絡(luò)分層地對(duì)圖像進(jìn)行風(fēng)格化，它包含三個(gè)階段：輸入圖像首先被調(diào)整為具有雙線性下采樣層的內(nèi)容圖像(256×256)，通過風(fēng)格子網(wǎng)風(fēng)格化，捕獲藝術(shù)品的大多數(shù)色彩和紋理特征；接下來，作為第一輸出圖像的風(fēng)格化結(jié)果被上采樣為512×512大小的圖像，并且通過增強(qiáng)子網(wǎng)得到第二輸出圖像，增強(qiáng)了風(fēng)格化強(qiáng)度；然后，它被調(diào)整大小為1024×1024；最后，細(xì)化子網(wǎng)刪除局部像素化偽影，并進(jìn)一步細(xì)化結(jié)果，獲得最具視覺吸引力的高分辨率結(jié)果。本發(fā)明在藝術(shù)風(fēng)格遷移方面，比起當(dāng)前最先進(jìn)的單遷移網(wǎng)絡(luò)，可以更密切地模擬藝術(shù)品的筆觸；將多個(gè)模型組合到一個(gè)網(wǎng)絡(luò)中，能夠處理現(xiàn)代數(shù)碼相機(jī)拍攝得到的尺寸越來越大的圖像；它還可以用于訓(xùn)練組合模型，以使具有多個(gè)不同藝術(shù)風(fēng)格的單個(gè)圖像風(fēng)格化。

發(fā)明內(nèi)容

針對(duì)風(fēng)格遷移過程耗時(shí)和遷移到高分辨圖像不精細(xì)的問題，本發(fā)明的目的在于提供一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移方法。

為解決上述問題，本發(fā)明提供一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，其主要內(nèi)容包括：

(一)圖像輸入；

(二)損失函數(shù)訓(xùn)練；

(三)風(fēng)格化；

(四)圖像增強(qiáng)；

(五)圖像細(xì)化。

其中，一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，包括多峰卷積神經(jīng)網(wǎng)絡(luò)，加入色彩和亮度通道信息，并利用多個(gè)尺度增大的損失值執(zhí)行分層式風(fēng)格化；可以通過離線執(zhí)行更復(fù)雜的訓(xùn)練，以幾乎實(shí)時(shí)的時(shí)間執(zhí)行風(fēng)格遷移任務(wù)；通過使用幾種模型在多尺度下適當(dāng)?shù)靥幚盹L(fēng)格和紋理線索，不僅可以轉(zhuǎn)移大型、明顯的風(fēng)格線索，而且可以轉(zhuǎn)移微小、精致的線索。

其中，所述的圖像輸入，選取一幅藝術(shù)繪畫作品作為風(fēng)格圖像；任意一張圖像在輸入多峰卷積神經(jīng)網(wǎng)絡(luò)前，將其調(diào)整為具有雙線性下采樣層的分辨率為256×256的內(nèi)容圖像。

其中，所述的損失函數(shù)訓(xùn)練，將多峰遷移網(wǎng)絡(luò)的所有輸出圖像作為損失網(wǎng)絡(luò)的輸入，計(jì)算每個(gè)輸出圖像的風(fēng)格化損失值，并將所有風(fēng)格化損失值加權(quán)組合，從而訓(xùn)練多峰遷移網(wǎng)絡(luò)。

進(jìn)一步地，所述的損失網(wǎng)絡(luò)，計(jì)算多峰遷移網(wǎng)絡(luò)生成K個(gè)增大尺寸的輸出結(jié)果的風(fēng)格化損失值：

其中和是對(duì)應(yīng)的內(nèi)容目標(biāo)和風(fēng)格目標(biāo)，也是輸出的子網(wǎng)的輸入，并且是藝術(shù)品y_s的縮放版本；通過訓(xùn)練具有不同風(fēng)格規(guī)模的子網(wǎng)，控制為不同子網(wǎng)學(xué)習(xí)的藝術(shù)特征的類型；

采用平行標(biāo)準(zhǔn)，使得不同的風(fēng)格化損失被用于反向傳播用于不同層的范圍的權(quán)重；定義層次化風(fēng)格化損失函數(shù)它是如下公式所示風(fēng)格化損失的加權(quán)聯(lián)合：

其中λ_k是風(fēng)格化損塊的權(quán)重；在對(duì)自然圖像x～χ的端到端學(xué)習(xí)期間，由θ_k表示的每個(gè)子網(wǎng)訓(xùn)練，子網(wǎng)最小化從后者的輸出計(jì)算的并行加權(quán)的風(fēng)格化損失；其中θ_k由下式得到：

當(dāng)前子網(wǎng)θ_k的權(quán)重受處的風(fēng)格化損失和后一子網(wǎng)的梯度的影響。

其中，所述的風(fēng)格化，包括從RGB彩色圖像分離亮度通道，并使用兩個(gè)獨(dú)立的分支(RGB塊和L塊)區(qū)別地學(xué)習(xí)它們的表示；然后從兩個(gè)分支計(jì)算的特征地圖沿著深度維度連接在一起，并由隨后的卷積塊進(jìn)一步處理。

進(jìn)一步地，所述的RGB塊、L塊和卷積塊，RGB塊包括三個(gè)步長的卷積層(分別為9×9，3×3，3×3，后兩個(gè)用于下采樣)和三個(gè)殘差塊，而LBlock具有類似的結(jié)構(gòu)，除了卷積深度是不同的；卷積塊由三個(gè)殘差塊，用于上采樣的兩個(gè)調(diào)整大小的卷積層和最后的3×3卷積層組成，獲得輸出RGB圖像所有非殘差卷積層之后是實(shí)例歸一化和ReLU非線性化。