[發明專利]基于門控塊的多樣性圖像風格遷移方法、計算機設備、可讀存儲介質和程序產品

在審

• 申請號: 202210671839.2
• 申請日: 2022-06-14
• 公開（公告）號: CN115293955A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 趙磊;陳嘉芙;吉柏言;褚天易;陳海博;王志忠;李艾琳;左智文;邢衛;許端清;魯東明
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 杭州合信專利代理事務所(普通合伙) 33337
• 代理人: 黃平英

本申請涉及一種基于門控塊的多樣性圖像風格遷移方法、計算機設備、可讀存儲介質和程序產品，多樣性圖像風格遷移方法利用多樣性圖像風格遷移網絡實現，多樣性圖像風格遷移網絡包括風格生成網絡，風格生成網絡包括依次連接的編碼器和解碼器，編碼器用于輸入內容圖像，解碼器用于輸出風格化圖像，解碼器包括依次連接的解碼門控塊和解碼主干網絡，解碼門控塊包括至少包括相互獨立且共用輸入的第一分支和第二分支，第一分支和第二分支的輸出傳輸到解碼主干網絡，第一分支和第二分支卷積核的大小和/或瓶頸層中殘差塊的數量不同；解碼門控塊包括的各個分支具有門控因子，門控因子用于調節解碼門控塊中各分支使用程度。

技術領域

本申請涉及計算機視覺和深度學習領域，特別是涉及一種基于門控塊的多 樣性圖像風格遷移方法、計算機設備、可讀存儲介質和程序產品。

背景技術

圖像風格遷移是一種強大的圖像編輯和藝術創作技術，它可以將照片以藝 術圖像的風格呈現。由于其可觀的科學和藝術價值，近年來對這一課題的研究 引起了廣泛的關注。最近，Gatys等人在《Image Style Transfer Using Convolutional Neural Networks》中的開創性工作首次提出根據預訓練深度卷積神經網絡 (DCNN)的處理層次提取內容特征和風格相關性(Gram Matrix)，使得分離和重組 任意圖像的內容和風格成為可能。盡管有效且靈活，但它是一種基于優化的方 法，速度非常慢且不能實時處理風格遷移，這限制了它的應用范圍。為了實現 實時風格化，前饋的風格遷移方法被提出，這些方法利用深度學習網絡的優勢， 將計算成本納入訓練過程。然而，這些方法在享受推斷效率的同時，受到了為 每種風格訓練一個網絡的不必要要求的限制。

最近，通用的風格遷移方法被提出，它們通過利用一個單一的模型來遷移 任意的新風格來克服這種困境。與上面提到的效率性和通用性類似，多樣性是 反映風格遷移方法的性能的另一個重要方面，并且在最近引起了更多的關注。 從本質上講，風格遷移是一個多模態問題，一個單一的輸入可以對應多個可能 的輸出。這主要是因為很難定量和精確地定義藝術圖像的風格是什么。相反， 人們被鼓勵從不同的角度解讀一件藝術圖像的風格，這沒有一個正確的答案。 因此，風格化結果應該充滿多樣性，而不是唯一性，這樣才能捕捉到可能的輸 出的完整分布。為了實現風格遷移的多樣性，Li等人和Ulyanov等在《Diversified texture synthesis with feed-forward networks》、《Improved texturenetworks: Maximizing quality and diversity in feed-forward stylization andtexture synthesis》 中人將隨機噪聲向量與內容圖像一起作為輸入，利用隨機噪聲的可變性產生不 同的風格化結果。

然而，由于內容圖像為輸出圖像提供了強結構先驗信息，并且具有比輸入 噪聲向量更高的維數，因此網絡傾向于更關注內容圖像，而忽略輸入的噪聲向 量。為了減輕這一問題，在小批量中降低不同風格化結果的相似性方法被提出。 最近，Wang等人在《Diversified arbitrary style transfer via deep feature perturbation》 中引入了深度特征擾動(DFP)操作，該操作使用正交隨機噪聲矩陣來擾動深度圖 像特征圖，同時保持原始風格信息不變。盡管這些方法取得了巨大的進步，但 是難以兼顧多樣性和質量。

發明內容

基于此，有必要針對上述技術問題，提供一種基于門控塊的多樣性圖像風 格遷移方法。

本申請基于門控塊的多樣性圖像風格遷移方法，利用多樣性圖像風格遷移 網絡實現，所述多樣性圖像風格遷移網絡包括風格生成網絡，所述風格生成網 絡包括依次連接的編碼器和解碼器，所述編碼器用于輸入內容圖像，所述解碼 器用于輸出風格化圖像，