[發明專利]圖像生成模型的訓練方法、生成方法、裝置及設備

在審

• 申請號: 202110143927.0
• 申請日: 2021-02-02
• 公開（公告）號: CN112862669A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 李安;李玉樂;項偉
• 申請（專利權）人: 百果園技術（新加坡）有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 邢少真

1.一種圖像生成模型的訓練方法，其特征在于，所述方法包括：

訓練得到第一變換模型，所述第一變換模型用于基于第一噪聲樣本生成第一訓練圖像，所述第一訓練圖像為第一類風格的圖像；

基于所述第一變換模型，訓練得到重構模型，所述重構模型用于將原始圖像樣本映射為所述原始圖像樣本對應的隱變量；

訓練得到第二變換模型，所述第二變換模型用于基于第二噪聲樣本生成第二訓練圖像，所述第二訓練圖像為第二類風格的圖像；

將所述第一變換模型與所述第二變換模型進行嫁接，生成嫁接后的變換模型；

基于所述重構模型和所述嫁接后的變換模型，生成圖像生成模型，所述圖像生成模型用于將所述第一類風格的待變換圖像，變換為所述第二類風格的目標圖像。

2.根據權利要求1所述的方法，其特征在于，所述第一變換模型包括第一映射網絡和第一合成網絡；

所述訓練得到第一變換模型，包括：

獲取第一訓練樣本集，所述第一訓練樣本集包括多個第一噪聲樣本；

將所述多個第一噪聲樣本分別輸入所述第一映射網絡，得到所述多個第一噪聲樣本分別對應的隱變量；

將所述多個第一噪聲樣本分別對應的隱變量分別輸入所述第一合成網絡，得到所述多個第一噪聲樣本分別對應的第一訓練圖像；

基于所述多個第一噪聲樣本分別對應的第一訓練圖像，調整所述第一變換模型的權重參數。

3.根據權利要求2所述的方法，其特征在于，所述第一變換模型包括第一判別網絡；

所述基于所述多個第一噪聲樣本分別對應的第一訓練圖像，調整所述第一變換模型的權重參數，包括：

將所述多個第一噪聲樣本分別對應的第一訓練圖像分別輸入所述第一判別網絡，得到所述多個第一噪聲樣本分別對應的第一判別損失；

基于所述多個第一噪聲樣本分別對應的第一判別損失，調整所述第一變換模型的權重參數。

4.根據權利要求1所述的方法，其特征在于，所述基于所述第一變換模型，訓練得到重構模型，包括：

獲取第二訓練樣本集，所述第二訓練樣本集包括多個原始圖像樣本；

將所述多個原始圖像樣本分別輸入所述重構模型，生成所述多個原始圖像樣本分別對應的隱變量；

將所述多個原始圖像樣本分別對應的隱變量輸入所述第一變換模型，生成所述多個原始圖像樣本分別對應的重構圖像，所述多個原始圖像樣本以及所述多個原始圖像樣本分別對應的重構圖像為所述第一類風格的圖像；

基于所述多個原始圖像樣本，以及所述多個原始圖像樣本分別對應的重構圖像，確定所述多個原始圖像樣本分別對應的重構模型的損失；

基于所述多個原始圖像樣本分別對應的重構模型的損失，調整所述重構模型的權重參數。

5.根據權利要求4所述的方法，其特征在于，所述第一變換模型包括第一判別網絡；

所述基于所述多個原始圖像樣本，以及所述多個原始圖像樣本分別對應的重構圖像，確定所述多個原始圖像樣本分別對應的重構模型的損失，包括：

基于將所述多個原始圖像樣本分別對應的重構圖像，分別輸入所述第一判別網絡得到的輸出結果，確定第一子損失，所述第一子損失用于指示所述重構圖像的第一特征性；

基于將所述多個原始圖像樣本以及所述多個原始圖像樣本分別對應的重構圖像，分別輸入感知網絡得到的輸出結果，確定第二子損失，所述第二子損失用于指示所述原始圖像樣本與所述原始圖像樣本對應的重構圖像，在目標特征上的第一符合程度；

基于將所述多個原始圖像樣本以及所述多個原始圖像樣本分別對應的重構圖像，分別輸入回歸函數得到的輸出結果，確定第三子損失，所述第三子損失用于指示所述原始圖像樣本與所述原始圖像樣本對應的重構圖像，在所述目標特征上的第二符合程度；

基于所述第一子損失、所述第二子損失和所述第三子損失，確定所述重構模型的損失。

6.根據權利要求1至5任一項所述的方法，其特征在于，在訓練過程中，所述第二變換模型的初始權重參數為所述第一變換模型的權重參數。