[發明專利]身份遷移模型構建方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 202111148719.6
• 申請日: 2021-09-29
• 公開（公告）號: CN113592982B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 余海銘
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 呂俊秀

1.一種身份遷移模型構建方法，其特征在于，所述方法包括：

獲得多個樣本源圖像及其各自對應的樣本目標圖像；

對所述多個樣本源圖像分別進行特征提取，得到所述多個樣本源圖像各自的身份特征；

將所述多個樣本源圖像各自的身份特征以及所述多個樣本源圖像各自對應的樣本目標圖像輸入生成式對抗網絡中的生成器，并對所述生成式對抗網絡進行訓練，直至所述生成器生成滿足預設條件的合成圖像時，結束訓練；其中，所述合成圖像為所述生成器將所述樣本源圖像的身份特征遷移到其對應的樣本目標圖像而生成的圖像，所述生成式對抗網絡中生成器的每一神經網絡層的通道數為同一數值；

將訓練結束時的生成器確定為身份遷移模型；

其中，所述生成器輸出多種不同分辨率的合成圖像，生成式對抗網絡的模型參數是根據生成器輸出的合成圖像對應的損失函數值進行更新的；

其中，所述生成器包括編碼器，所述編碼器包括身份編碼分支；所述身份編碼分支中包括采樣結構，所述采樣結構將基于樣本源圖像的身份特征和樣本目標圖像的身份特征得到的身份遷移特征進行逐步下采樣至第二指定分辨率，再逐步上采樣至第一指定分辨率，以輸出所述第一指定分辨率的身份遷移特征。

2.根據權利要求1所述的方法，其特征在于，所述生成器包括遷移模塊，所述遷移模塊用于基于圖像藝術風格遷移算法，對所述樣本源圖像的身份特征進行處理，實現將所述樣本源圖像的身份特征遷移到其對應的樣本目標圖像上，進而生成所述合成圖像。

3.根據權利要求1所述的方法，其特征在于，

在所述生成式對抗網絡的訓練過程中，通過損失函數確定所述生成器輸出的合成圖像對應的損失函數值，根據所述損失函數值對所述生成式對抗網絡的模型參數進行更新；其中，所述損失函數至少包括：對抗損失函數，身份保持損失函數以及屬性保持損失函數；

所述對抗損失函數用于利用判別器迫使所述合成圖像更真實；

所述身份保持損失函數用于迫使所述合成圖像的身份特征與其所對應的樣本源圖像的身份特征接近；

所述屬性保持損失函數用于迫使所述合成圖像的屬性特征與其所對應的樣本目標圖像的屬性特征接近，所述屬性特征為除所述身份特征外的圖像特征。

4.根據權利要求3所述的方法，其特征在于，當所述樣本源圖像與其所對應的樣本目標圖像為相同圖像特征的兩張圖像時，所述損失函數還包括重建損失函數，所述重建損失函數用于迫使所述合成圖像與所述樣本目標圖像一致。

5.根據權利要求3所述的方法，其特征在于，所述通過損失函數確定所述生成器輸出的合成圖像對應的損失函數值，根據所述損失函數值對所述生成式對抗網絡的模型參數進行更新，包括：

通過所述損失函數分別對所述多種不同分辨率的合成圖像計算所述不同分辨率的合成圖像各自對應的損失函數值，再根據所述不同分辨率的合成圖像各自對應的損失函數值確定總損失函數值，根據所述總損失函數值對所述生成式對抗網絡的模型參數進行更新。

6.根據權利要求1所述的方法，其特征在于，所述生成器包括編碼器和解碼器，所述編碼器的輸入為所述樣本源圖像的身份特征以及所述樣本源圖像所對應的樣本目標圖像，所述編碼器的輸出為第一指定分辨率的身份遷移特征以及所述樣本目標圖像的多種不同分辨率的屬性特征；

所述解碼器的輸入為所述編碼器的輸出，所述解碼器的輸出為多種不同分辨率的合成圖像。

7.根據權利要求6所述的方法，其特征在于，所述編碼器包括編碼器頭部結構、身份編碼分支以及屬性編碼分支；

所述編碼器頭部結構的輸入為所述樣本源圖像所對應的樣本目標圖像，所述編碼器頭部結構的輸出為所述樣本目標圖像的身份特征和所述樣本目標圖像的屬性特征；

所述身份編碼分支的輸入為所述樣本源圖像的身份特征和所述編碼器頭部結構輸出的所述樣本目標圖像的身份特征，所述身份編碼分支的輸出是所述第一指定分辨率的身份遷移特征；

所述屬性編碼分支的輸入為所述編碼器頭部結構輸出的所述樣本目標圖像的屬性特征，所述屬性編碼分支的輸出是所述樣本目標圖像的多種不同分辨率的屬性特征。