[發明專利]生成多樣化結果的風格遷移方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010904686.2
• 申請日: 2020-09-01
• 公開（公告）號: CN112101546A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 趙磊;王志忠;仇禮鴻;張惠銘;莫啟航;林思寰;陳海博;李艾琳;左智文;邢衛;魯東明
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/40;G06K9/46;G06K9/62;G06N3/04;G06T3/00
• 代理公司: 杭州合信專利代理事務所(普通合伙) 33337
• 代理人: 劉靜靜

1.生成多樣化結果的風格遷移方法，其特征在于，包括：

根據深度神經網絡分別對內容圖像和風格圖像進行高層語義特征處理，得到內容圖像語義特征F_c和風格圖像語義特征F_s；

將所述風格圖像語義特征劃分為若干個局部的特征區域小塊，得到原始風格特征集合

對所述原始風格特征集合進行歸一化操作，得到第一歸一化集合

將所述內容圖像語義特征與隨機噪聲進行混合并劃分為若干個局部的特征區域小塊，得到隨機噪聲內容特征集合

將所述隨機噪聲內容特征集合與所述第一歸一化集合進行處理，得到兩個集合中最相近的第二歸一化集合，從所述第二歸一化集合中隨機選取一塊作為所述隨機噪聲內容特征集合的最匹配小塊φ_i(F_cs)；

根據隨機噪聲內容特征集合與所述最匹配小塊之間的匹配結果，使用所述最匹配小塊所對應的所述原始風格特征集合重建第一風格特征T；

根據所述第一風格特征進行特征隨機重組，得到多個第二風格特征

根據所述第二風格特征計算得到多個風格遷移結果圖像。

2.根據權利要求1所述的生成多樣化結果的風格遷移方法，其特征在于，對所述原始風格特征集合進行隨機偏移的歸一化操作。

3.根據權利要求1所述的生成多樣化結果的風格遷移方法，其特征在于，所述隨機噪聲的尺寸與所述內容圖像語義特征的尺寸相同。

4.根據權利要求2所述的生成多樣化結果的風格遷移方法，其特征在于，根據如下公式將所述原始風格特征集合進行隨機偏移的歸一化操作：

式中：F_s表示深度神經網絡提取出的風格圖像語義特征；

φ_j(F_s)表示原始風格特征集合中的特征區域小塊，j∈{1，...，n_s}，n_s為特征區域小塊的數量；

||φ_j(F_s)||表示求φ_j(F_s)的L2范數；

b是一個隨機的噪聲偏移值；

表示隨機歸一化后的第一歸一化集合中的特征區域小塊。

5.根據權利要求3所述的生成多樣化結果的風格遷移方法，其特征在于，根據如下公式將所述內容圖像語義特征和所述隨機噪聲進行混合，并劃分為若干個局部的特征區域小塊：

式中：F_c表示深度神經網絡提取出的內容圖像語義特征；

表示與F_c尺寸相同的隨機噪聲張量；

表示混合了隨機噪聲后的隨機噪聲內容特征；

表示得到的隨機噪聲內容特征集合。

6.根據權利要求1所述的生成多樣化結果的風格遷移方法，其特征在于，根據如下公式將所述隨機噪聲內容特征集合與所述第一歸一化集合進行處理，得到兩者中最相近的第二歸一化集合，從所述第二歸一化集合中隨機選取一塊作為所述隨機噪聲內容特征集合的最匹配小塊：

式中：表示隨機噪聲內容特征；

F_s表示深度神經網絡提取出的風格圖像語義特征；

表示隨機噪聲內容特征集合中的特征區域小塊；

表示第一歸一化集合中的特征區域小塊；

Top_k表示對集合中的每一個在集合中找到使內積最大的前k個最匹配的其中，n_c為隨機噪聲內容特征集合中的區域小塊數量，n_s為第一歸一化集合中的區域小塊數量；

⊙表示從找到的k個第二歸一化風格特征區域小塊集合并從中隨機選取一個作為最匹配小塊；

φ_i(F_cs)表示匹配結果。