[發明專利]一種圖像風格轉換及模型訓練的方法及裝置

有效

• 申請號: 202010907304.1
• 申請日: 2020-09-02
• 公開（公告）號: CN111815509B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 傅慧源;馬華東;余艇;張宇
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T9/00;G06T7/11
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 李翔

1.一種圖像風格轉換的方法，其特征在于，包括：

將待風格轉換的第一風格的圖像和作為參考圖像的第二風格的圖像，分別輸入到編碼器網絡中的內容、風格編碼器，分別提取出內容、風格編碼特征圖像；

將所述風格、內容編碼特征圖像分別輸入到解碼器網絡中的多層感知機模塊和殘差卷積模塊，分別進行感知機運算和殘差卷積運算，分別得到自適應實例歸一化模塊的參數和中間過程特征圖像；并將得到的參數共享到所述解碼器網絡的自適應實例歸一化模塊；

將所述中間過程特征圖像輸入到所述自適應實例歸一化模塊進行實例歸一化，將實例歸一化的特征圖像輸入到所述解碼器網絡的上采樣層中，得到從第一風格轉換到第二風格的目標圖像；

其中，由所述編、解碼器網絡組成的圖像風格轉換模型，是通過圖像訓練樣本以及從圖像訓練樣本中裁剪的實例圖像預先訓練得到的：

構建圖像生成模型；其中，所述圖像生成模型中包括：全局風格遷移模型和局部風格遷移模型；其中，所述全局風格遷移模型中包括：全局的編碼器網絡、解碼器網絡；所述局部風格遷移模型中包括：局部的編碼器、解碼器網絡；

對圖像生成模型進行多次迭代訓練，在迭代訓練次數達到第一預設次數后，將全局風格遷移模型作為訓練得到的圖像風格轉換模型；

其中，一次迭代訓練過程包括：

將所述圖像訓練樣本中的第一、二風格的圖像輸入到所述全局風格遷移模型，經過所述全局的編碼器網絡、解碼器網絡的兩次解耦內容特征和風格特征、解碼內容特征和風格特征得到重建的第一、二風格的圖像；

將從第一、二風格的圖像中裁剪出的實例圖像輸入到所述局部風格遷移模型，經過所述局部的編碼器網絡、解碼器網絡的兩次解耦內容特征和風格特征、解碼內容特征和風格特征得到重建的實例圖像；

將第一/二風格圖像的風格編碼特征圖像和第二/一風格的實例圖像的內容編碼特征圖像輸入到全局的解碼器，得到生成的第一/二風格的實例內容圖像；

將生成的第一/二風格的實例內容圖像輸入到局部的編碼器中的內容編碼器和風格編碼器進行多層卷積操作解耦出所述實例內容圖像的風格、內容編碼特征圖像；

將解耦出的第二風格的實例內容圖像的風格編碼特征圖像、第二風格的圖像的內容編碼特征圖像輸入到全局的解碼器網絡，得到重建的跨粒度第二風格的圖像；

將解耦出的第一風格的實例圖像的風格編碼特征圖像、第二風格的實例內容圖像的內容編碼特征圖像輸入到全局的解碼器網絡，得到重建的跨粒度實例第一風格圖像；

根據重建的第一/二風格的圖像與所述圖像訓練樣本中相應的第一/二風格的圖像之間的距離，調整所述全局的編碼器和解碼器網絡的參數；

根據重建的實例圖像與從所述圖像訓練樣本中相應的第一/二風格的圖像中裁剪出的實例圖像之間的距離，調整所述局部的編碼器和解碼器網絡的參數。

2.根據權利要求1所述的方法，其特征在于，所述圖像風格轉換模型的訓練方法還包括：

根據重建的跨粒度第二風格的圖像與所述圖像訓練樣本中相應的第二風格的圖像之間的距離，以及重建的跨粒度實例第一風格圖像與相應的第一風格的實例圖像之間的距離，聯合調整所述局部編碼器和解碼器網絡、全局編碼器和解碼器網絡。

3.根據權利要求2所述的方法，其特征在于，所述在迭代訓練次數達到第一預設次數后，還包括：

對所述圖像生成模型基于判別器進行多次對抗學習的迭代訓練，當對抗學習的迭代訓練次數達到第二預設次數時，將圖像生成模型中的全局風格遷移模型作為最終的訓練得到的圖像風格轉換模型。