[發明專利]一種圖像風格遷移模型訓練方法、裝置及電子設備

有效

• 申請號: 202110556271.5
• 申請日: 2021-05-21
• 公開（公告）號: CN113160042B
• 公開（公告）日: 2023-02-17
• 發明（設計）人: 李麗香;張雅盟;彭海朋
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V10/40;G06V10/774
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;趙元

1.一種圖像風格遷移模型訓練方法，其特征在于，所述方法包括：

將樣本源域圖像和樣本目標域圖像輸入待訓練的圖像風格遷移模型，其中，所述圖像風格遷移模型包括內容編碼層和風格編碼層；

通過所述內容編碼層對所述樣本源域圖像和樣本目標域圖像進行特征提取，得到源內容張量和目標內容張量；

通過所述風格編碼層對所述樣本源域圖像和樣本目標域圖像進行特征提取，得到源風格張量和目標風格張量；

通過預設損失函數，根據所述源內容張量、所述源風格張量、目標內容張量和目標風格張量計算所述待訓練的圖像風格遷移模型的當前損失；

根據所述當前損失對所述待訓練的圖像風格遷移模型的參數進行調整，返回所述將樣本源域圖像和樣本目標域圖像輸入待訓練的圖像風格遷移模型的步驟繼續執行，直至所述當前損失小于預設閾值，得到訓練好的圖像風格遷移模型；

所述通過預設損失函數，根據所述源內容張量、所述源風格張量、目標內容張量和目標風格張量計算所述待訓練的圖像風格遷移模型的當前損失，包括：

通過預設損失函數，根據所述源內容張量、所述源風格張量、目標內容張量和目標風格張量計算所述待訓練的圖像風格遷移模型的項目損失，其中，所述項目損失包括重構損失、潛在語義損失、循環重構損失、對抗損失、風格多樣性損失和感知損失中的至少一種；

根據所述項目損失計算得到所述當前損失；

所述重構損失的計算方式包括：通過預設生成器，根據所述源內容張量和所述源風格張量計算得到源域域內重構圖；通過預設生成器，根據所述目標內容張量和所述目標風格張量計算得到目標域域內重構圖；根據所述源域域內重構圖和所述目標域域內重構圖，通過第一預設損失函數計算得到重構損失；

所述潛在語義損失的計算方式包括：通過預設生成器，根據所述源內容張量和所述目標風格張量計算得到源域生成圖；通過預設生成器，根據所述目標內容張量和所述源風格張量計算得到目標域生成圖；將所述目標域生成圖輸入所述內容編碼層，得到重構目標內容張量；將所述目標域生成圖輸入所述風格編碼層，得到重構目標風格張量；將所述源域生成圖輸入所述內容編碼層，得到重構源內容張量；將所述源域生成圖輸入所述風格編碼層，得到重構源風格張量；根據所述重構目標內容張量和所述重構目標風格張量，通過第二預設損失函數計算得到第二潛在語義損失；根據所述重構源內容張量和所述重構源風格張量，通過第二預設損失函數計算得到第一潛在語義損失；計算所述第一潛在語義損失和所述第二潛在語義損失之和，得到所述潛在語義損失；

所述循環重構損失的計算方式包括：通過預設生成器，根據所述重構源內容張量和所述重構源風格張量計算得到循環重構源域圖；通過預設生成器，根據所述重構目標風格張量和所述重構目標內容張量計算得到循環重構目標域圖；根據所述循環重構源域圖和所述循環重構目標域圖，通過第三預設損失函數計算得到所述循環重構損失；

所述對抗損失的計算方式包括：隨機生成風格張量，得到第一隨機風格張量；通過所述預設生成器，根據所述隨機風格張量和所述源內容張量生成第一虛假源域圖；通過所述預設生成器，根據所述隨機風格張量和所述目標內容張量生成第一虛假目標域圖；根據所述第一虛假目標域圖和所述樣本目標域圖像，通過第四預設損失函數計算得到第二對抗損失；根據所述第一虛假源域圖和所述樣本源域圖像，通過第四預設損失函數計算得到第一對抗損失；計算所述第一對抗損失和所述第二對抗損失之和，得到所述對抗損失；

所述風格多樣性損失的計算方式包括：隨機生成四種不同的風格張量，得到第二隨機風格張量、第三隨機風格張量、第四隨機風格張量和第五隨機風格張量；通過所述預設生成器，根據所述第二隨機風格張量和所述源內容張量，生成第二虛假源域圖；通過所述預設生成器，根據所述第三隨機風格張量和所述源內容張量，生成第三虛假源域圖；通過所述預設生成器，根據所述第四隨機風格張量和所述目標內容張量，生成第二虛假目標域圖；通過所述預設生成器，根據所述第五隨機風格張量和所述目標內容張量，生成第三虛假目標域圖；根據所述第二虛假源域圖和所述第三虛假源域圖，通過第五預設損失函數計算得到第一風格多樣性損失；根據所述第二虛假目標域圖和所述第三虛假目標域圖，通過第五預設損失函數計算得到第二風格多樣性損失；計算所述第一風格多樣性損失和所述第二風格多樣性損失之和，得到所述風格多樣性損失；

所述感知損失的計算方式包括：根據所述樣本源域圖像、所述源域域內重構圖、所述第一虛假源域圖、所述循環重構源域圖、所述樣本目標域圖像、所述目標域域內重構圖、所述第一虛假目標域圖和所述循環重構目標域圖，通過第六預設損失函數計算得到所述感知損失。