[發明專利]生成多樣化結果的風格遷移方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010904686.2
• 申請日: 2020-09-01
• 公開（公告）號: CN112101546A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 趙磊;王志忠;仇禮鴻;張惠銘;莫啟航;林思寰;陳海博;李艾琳;左智文;邢衛;魯東明
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/40;G06K9/46;G06K9/62;G06N3/04;G06T3/00
• 代理公司: 杭州合信專利代理事務所(普通合伙) 33337
• 代理人: 劉靜靜

本申請涉及生成多樣化結果的風格遷移方法、裝置、計算機設備和存儲介質。所述方法包括：對內容圖像和風格圖像進行處理，得到內容圖像語義特征和風格圖像語義特征；將風格圖像語義特征劃分為多個小塊，得到原始風格特征集合；原始風格特征集合進行歸一化操作，得到第一歸一化集合；將內容圖像語義特征與隨機噪聲進行混合，得到隨機噪聲內容特征集合；將隨機噪聲內容特征集合與第一歸一化集合進行處理并從中隨機選取一塊作為最匹配小塊；使用最匹配小塊的特征重建第一風格特征；根據第一風格特征進行特征隨機重組，得到多個第二風格特征并經過計算得到多個風格遷移結果圖像。采用本方法能夠生成多種風格遷移結果，提高用戶體驗滿意度。

技術領域

本申請涉及圖像生成技術領域，特別是涉及生成多樣化結果的風格遷移方法、裝置、計算機設備和存儲介質。

背景技術

2015年，Gatys等人首次提出結合預訓練的深度學習模型來進行風格遷移和紋理合成任務，開啟了使用深度學習技術來提升包括風格遷移和紋理合成在內的圖像生成領域的性能表現的熱潮。他們利用預訓練的深度學習模型提取出的多層激活特征，通過計算特征維度之間的互相關性矩陣來表達一副圖像的風格。這種從全局特征統計相關性的視角來理解和表示圖像風格的算法，對于沒有明顯語義相關性的藝術圖像的風格遷移和合成任務尤為合適。

另一方面，Li和Wand在2016年提出了對圖像風格的另一種理解和表達，他們認為，一副圖像的風格應該取決于局部的模式而不是全局的統計相關性。為此，他們結合了深度卷積神經網絡和馬爾科夫隨機場(Markov Random Fields,MRFs)，通過將高層語義特征圖劃分為若干個局部的特征區域小塊，然后用近鄰匹配的方式對每個內容圖像的局部特征區域小塊找到與其最相似的風格圖像的局部特征區域小塊，最后用相應的最相似的風格圖像的局部特征區域小塊替換原來的內容圖像的局部特征區域小塊，最后對替換后的特征重建出風格遷移后的結果圖像。這種從局部模式的角度出發來進行風格遷移的方法對對應語義區域上的風格遷移有更好的表現，因此更加適合兩幅在語義上有對應關系(如天空到天空，地面到地面)的圖像之間的風格遷移。

后來，在上述兩種方法的基礎上，大量的方法變體被提出，并獲得了越來越高的風格遷移質量和越來越低的內存和時間消耗。然而，目前的絕大多數風格遷移方法針對固定輸入的內容圖像和風格圖像，產生的風格遷移結果如果用戶不滿意的話，只能嘗試其他的方法或者尋找其他可替代的內容圖像或風格圖像，從而為用戶帶來了麻煩，降低了用戶體驗滿意度。

發明內容

基于此，本申請提供生成多樣化結果的風格遷移方法、裝置、計算機設備和存儲介質，通過輸入固定的內容圖像和風格圖像，可以生成多種風格遷移結果，解決只能產生單一的風格遷移結果圖像的技術問題，為用戶提供更多可選擇的風格遷移結果圖像。

本申請的生成多樣化結果的風格遷移方法，包括：

根據深度神經網絡分別對內容圖像和風格圖像進行高層語義特征處理，得到內容圖像語義特征F_c和風格圖像語義特征F_s；

將所述風格圖像語義特征劃分為若干個局部的特征區域小塊，得到原始風格特征集合

對所述原始風格特征集合進行歸一化操作，得到第一歸一化集合

將所述內容圖像語義特征與隨機噪聲進行混合并劃分為若干個局部的特征區域小塊，得到隨機噪聲內容特征集合

將所述隨機噪聲內容特征集合與所述第一歸一化集合進行處理，得到兩個集合中最相近的第二歸一化集合，從所述第二歸一化集合中隨機選取一塊作為所述隨機噪聲內容特征集合的最匹配小塊φ_i(F_cs)；

根據隨機噪聲內容特征集合與所述最匹配小塊之間的匹配結果，使用所述最匹配小塊所對應的所述原始風格特征集合重建第一風格特征T；