[發明專利]一種基于風格與內容解耦的圖像風格遷移方法

在審

• 申請號: 202110322481.8
• 申請日: 2021-03-25
• 公開（公告）號: CN113112397A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 馬偉;賈曉宇;周顯晴
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

本發明提出一種基于風格與內容解耦的圖像風格遷移方法，具體涉及圖像風格遷移神經網絡和損失度量網絡。風格遷移神經網絡是用于該任務的任意前饋網絡，損失度量網絡由風格特征提取模塊和內容特征提取模塊組成。訓練步驟如下：將風格遷移結果圖與原內容圖送入損失度量網絡的內容特征提取模塊，計算內容重建損失；將風格遷移結果圖與原風格圖像送入損失度量網絡的風格特征提取模塊，計算風格損失；通過損失度量網絡訓練圖像風格遷移網絡，使其生成的圖像保留原圖內容，且具備特定風格圖的風格特征。本發明通過解耦風格和內容損失度量過程，使得所訓練的風格遷移網絡能夠有效摒除來自風格圖中內容的干擾。

技術領域

本發明涉及深度學習在計算機視覺、圖像風格遷移領域的應用，具體涉及一種基于風格與內容解耦的圖像風格遷移方法。

背景技術

圖像風格遷移是指利用算法學習某一特定圖像的風格并將這種風格渲染到另一張圖像上且不改變畫面的主體內容的技術。該技術在社交媒體、影視創作輔助工具等方面的圖像處理中具有廣泛的應用價值。

傳統的圖像風格遷移方法(亦稱作圖像的非真實感渲染)分為兩類：一類是計算機自動繪制生成所需的藝術風格圖像，例如基于顏色傳輸、基于紋理合成的風格合成。另一類是基于過程的模擬，即基于筆刷的非真實感藝術渲染。基于顏色傳輸的風格化方法利用圖像整體的顏色統計信息和聚類的思想進行風格表征；基于紋理合成的風格化方法參考風格圖像紋理的形成方式利用圖像局部塊的統計量進行風格表征；基于筆刷的非真實感藝術渲染通過控制筆刷的參數模擬藝術家的繪畫過程實現不同的風格。傳統方法的不足之處在于所學習的風格太過局限且需根據不同的風格設計不同的數學模型，同時風格化效果不盡如人意。

深度神經網絡近年來在圖像處理和分析中取得了驚人的進展，利用深度神經網絡進行的圖像風格遷移目前取得了較為可觀的效果，這些方法將圖像的特征表示分為內容特征和風格特征，以重新組合的方式，將一張圖像的風格遷移到另一張圖圖像上。Gatys等人在2016年的CVPR上發表的“Image Style Transfer Using Convolutional NeuralNetworks”最早提出基于神經網絡的風格遷移方法，該方法利用預訓練的卷積神經網絡提取的特征作為圖像的特征表達，通過迭代的方式約束圖像風格的表征，最終達到圖像風格化效果。Johnson等人在2016年的ECCV上發表的“Perceptual Loss for ImageTranslation and Style Transfer”提出基于前饋網絡的圖像風格遷移方法，該方法利用感知損失函數進一步加快神經網絡風格遷移的速度。圖像神經風格遷移一經提出，便受到了業界的廣泛關注，相比傳統方法，神經風格遷移的效果更加生動多變，然而，現有方法中的風格表征并非真正合適，由于現有方法中使用的預訓練卷積神經網絡本身用于現實環境下的物體分類，使得使用該預訓練網絡提取抽象圖像風格(如：油畫、水墨畫等)所需的風格表征時，無法提取到合適且有利于風格表征的特征信息，導致最終風格渲染效果無法達到預期。

發明內容

針對現有技術的不足，本發明提出了一種基于風格與內容解耦的圖像風格遷移方法，通過重新訓練提取特征的神經網絡和風格相似性任務，本發明設計專注于風格特征提取的模塊，進而實現風格與內容的解耦，將風格遷移到內容圖像上得到風格渲染圖像。

本發明通過以下技術方案實現：

步驟1，模型設計。

該發明的模型由圖像風格轉換神經網絡和基于風格與內容解耦的損失度量網絡兩部分組成。所述圖像風格轉換網絡可以是適用于風格遷移的任意前饋網絡；所述基于風格與內容解耦的損失度量網絡包含風格特征提取模塊、內容特征提取模塊。其中，內容特征提取模塊采用預訓練好的VGG-16網絡模型；風格特征提取模塊根據風格度量任務特點，改進Gatys等人方法使用的VGG-19深度卷積神經網絡結構得來。

步驟2，模型訓練。

步驟2.1，使用風格數據集S預先訓練損失度量網絡中用于提取風格表征的風格特征提取模塊。