[發(fā)明專利]一種基于深度卷積神經(jīng)網(wǎng)絡的圖像風格遷移方法

在審

• 申請?zhí)枺?/td>: 201611252944.3
• 申請日: 2016-12-30
• 公開（公告）號: CN106651766A
• 公開（公告）日: 2017-05-10
• 發(fā)明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度卷積神經(jīng)網(wǎng)絡的圖像風格遷移方法，其特征在于，主要包括圖像輸入(一)；損失函數(shù)訓練(二)；風格化(三)；圖像增強(四)；圖像細化(五)。

2.基于權利要求書1所述的一種基于深度卷積神經(jīng)網(wǎng)絡的圖像風格遷移方法，其特征在于，包括多峰卷積神經(jīng)網(wǎng)絡，加入色彩和亮度通道信息，并利用多個尺度增大的損失值執(zhí)行分層式風格化；可以通過離線執(zhí)行更復雜的訓練，以幾乎實時的時間執(zhí)行風格遷移任務；通過使用幾種模型在多尺度下適當?shù)靥幚盹L格和紋理線索，不僅可以轉(zhuǎn)移大型、明顯的風格線索，而且可以轉(zhuǎn)移微小、精致的線索。

3.基于權利要求書1所述的圖像輸入(一)，其特征在于，選取一幅藝術繪畫作品作為風格圖像；任意一張圖像在輸入多峰卷積神經(jīng)網(wǎng)絡前，將其調(diào)整為具有雙線性下采樣層的分辨率為256×256的內(nèi)容圖像。

4.基于權利要求書1所述的損失函數(shù)訓練(二)，其特征在于，將多峰遷移網(wǎng)絡的所有輸出圖像作為損失網(wǎng)絡的輸入，計算每個輸出圖像的風格化損失值，并將所有風格化損失值加權組合，從而訓練多峰遷移網(wǎng)絡。

5.基于權利要求書4所述的損失網(wǎng)絡，其特征在于，計算多峰遷移網(wǎng)絡生成K個增大尺寸的輸出結果的風格化損失值：

其中和是對應的內(nèi)容目標和風格目標，也是輸出的子網(wǎng)的輸入，并且是藝術品y_s的縮放版本；通過訓練具有不同風格規(guī)模的子網(wǎng)，控制為不同子網(wǎng)學習的藝術特征的類型；

采用平行標準，使得不同的風格化損失被用于反向傳播用于不同層的范圍的權重；定義層次化風格化損失函數(shù)它是如下公式所示風格化損失的加權聯(lián)合：

其中λ_k是風格化損失的權重；在對自然圖像x～χ的端到端學習期間，由θ_k表示的每個子網(wǎng)訓練，子網(wǎng)最小化從后者的輸出計算的并行加權的風格化損失；其中θ_k由下式得到：

6.基于權利要求書1所述的風格化(三)，其特征在于，包括從RGB彩色圖像分離亮度通道，并使用兩個獨立的分支(RGB塊和L塊)區(qū)別地學習它們的表示；然后從兩個分支計算的特征地圖沿著深度維度連接在一起，并由隨后的卷積塊進一步處理。

7.基于權利要求書6所述的RGB塊、L塊和卷積塊，其特征在于，RGB塊包括三個步長的卷積層(分別為9×9，3×3，3×3，后兩個用于下采樣)和三個殘差塊，而LBlock具有類似的結構，除了卷積深度是不同的；卷積塊由三個殘差塊，用于上采樣的兩個調(diào)整大小的卷積層和最后的3×3卷積層組成，獲得輸出RGB圖像所有非殘差卷積層之后是實例歸一化和ReLU非線性化。

8.基于權利要求書1所述的圖像增強(四)，其特征在于，采用具有大多數(shù)紋理的權重的增強子網(wǎng)，進一步增強風格子網(wǎng)得到的結果；增強子網(wǎng)與風格子網(wǎng)結構類似，但它具有用于下采樣的一個或多個卷積層和用于上采樣的一個或多個調(diào)整大小卷積層，擴大接收域的大小。

9.基于權利要求書1所述的圖像細化(五)，其特征在于，采用由θ₃參數(shù)化的深度殘差卷積神經(jīng)網(wǎng)絡作為細化子網(wǎng)；在訓練期間，細化子網(wǎng)的輸入圖像沒有重新調(diào)整為1024×1024，仍是512×512的分辨率；細化子網(wǎng)刪除圖像的局部像素化偽影，并進一步細化結果，最后獲得最具視覺吸引力的高分辨率圖像

10.基于權利要求書9所述的細化結果，其特征在于，細化后的結果可以是多種藝術風格的組合，同時具有多種尺度的顏色和紋理線索；只使用兩級層次結構執(zhí)行風格遷移過程，還可以將這種結構遞歸地擴展，實現(xiàn)更大規(guī)模大小的圖像風格化。