[發明專利]一種圖像風格遷移模型訓練方法、裝置及電子設備

有效

• 申請號: 202110556271.5
• 申請日: 2021-05-21
• 公開（公告）號: CN113160042B
• 公開（公告）日: 2023-02-17
• 發明（設計）人: 李麗香;張雅盟;彭海朋
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V10/40;G06V10/774
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;趙元

本申請實施例提供的一種圖像風格遷移模型訓練方法、裝置及電子設備，通過將樣本源域圖像和樣本目標域圖像輸入待訓練的圖像風格遷移模型；通過內容編碼層對樣本源域圖像和樣本目標域圖像進行特征提取，得到源內容張量和源風格張量；通過風格編碼層對樣本源域圖像和樣本目標域圖像進行特征提取，得到目標內容張量和目標風格張量；通過預設損失函數，根據源內容張量、源風格張量、目標內容張量和目標風格張量計算待訓練的圖像風格遷移模型的當前損失；根據當前損失對待訓練的圖像風格遷移模型的參數進行調整，直至當前損失小于預設閾值，得到訓練好的圖像風格遷移模型。實現了提取樣本圖像的多個維度的特征進行模型的訓練，避免模型的內容敏感性。

技術領域

本申請涉及模型訓練的技術領域，特別是涉及一種圖像風格遷移模型訓練方法、裝置及電子設備。

背景技術

目前，圖像風格遷移模型在電影業、攝影技術、時尚、美容相機和電子商務等領域，已經有著廣泛的應用，通過圖像風格遷移模型可以自動的將一幅圖像轉化為另一種風格的圖像。

然而，當前圖像風格遷移模型在訓練過程中，往往只提取樣本圖像單一維度的特征，然后根據提取的特征進行模型的訓練，從而導致訓練得到的模型對圖像的內容較為敏感，所需要的樣本數據的數據量也較多。

發明內容

本申請實施例的目的在于提供一種圖像風格遷移模型訓練方法、裝置及電子設備，用以解決現有技術中訓練圖像風格遷移模型的過程中，樣本數據需求多的問題。具體技術方案如下：

本申請實施例的第一方面，首先提供了一種圖像風格遷移模型訓練方法，上述方法包括：

將樣本源域圖像和樣本目標域圖像輸入待訓練的圖像風格遷移模型，其中，圖像風格遷移模型包括內容編碼層和風格編碼層；

通過內容編碼層對樣本源域圖像和樣本目標域圖像進行特征提取，得到源內容張量和目標域內容張量；

通過風格編碼層對樣本源域圖像和樣本目標域圖像進行特征提取，得到源風格張量和目標風格張量；

通過預設損失函數，根據源內容張量、源風格張量、目標內容張量和目標風格張量計算待訓練的圖像風格遷移模型的當前損失；

根據當前損失對待訓練的圖像風格遷移模型的參數進行調整，返回將樣本源域圖像和樣本目標域圖像輸入待訓練的圖像風格遷移模型的步驟繼續執行，直至當前損失小于預設閾值，得到訓練好的圖像風格遷移模型。

可選的，通過預設損失函數，根據源內容張量、源風格張量、目標內容張量和目標風格張量計算待訓練的圖像風格遷移模型的當前損失，包括：

通過預設損失函數，根據源內容張量、源風格張量、目標內容張量和目標風格張量計算待訓練的圖像風格遷移模型的項目損失，其中，項目損失包括重構損失、潛在語義損失、循環重構損失、對抗損失、風格多樣性損失和感知損失中的至少一種；

根據項目損失計算得到當前損失。

可選的，重構損失的計算方式包括：通過預設生成器，根據源內容張量和源風格張量計算得到源域域內重構圖；通過預設生成器，根據目標內容張量和目標風格張量計算得到目標域域內重構圖；根據源域域內重構圖和目標域域內重構圖，通過第一預設損失函數計算得到重構損失。