[發明專利]圖像生成模型的訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110316298.7
• 申請日: 2021-03-24
• 公開（公告）號: CN113096055A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 鄧紅波
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 胡蓉

本公開關于一種圖像生成模型的訓練方法、裝置、電子設備及存儲介質，以解決當前人臉融合得到的圖像與參與人臉融合的原始圖像相似度低，且真實性低的問題。該方法包括：獲取多個樣本人臉圖像；根據多個樣本人臉圖像訓練生成式對抗網絡，得到目標人臉生成網絡；生成式對抗網絡包括生成器和判別器；目標人臉生成網絡是根據訓練后的生成器構建的；根據多個樣本人臉圖像和目標人臉生成網絡訓練初始編碼器得到目標編碼器；初始編碼器是根據訓練后的判別器構建的；順序連接目標編碼器和目標人臉生成網絡得到目標圖像生成模型；目標圖像生成模型用于根據至少兩個人臉圖像生成至少兩個人臉圖像的融合人臉圖像。

技術領域

本公開涉及圖像處理技術領域，尤其涉及圖像生成模型的訓練方法、裝置、電子設備及存儲介質。

背景技術

人臉融合技術不僅可用于網絡營銷中商品虛擬試戴，還可用于在游戲娛樂產品中豐富產品功能以提升用戶體驗。

當前，對兩張人臉圖像進行融合所使用的人臉融合方法一般是將第一人臉圖像的特征信息解析出來，并將第一人臉圖像的特征信息應用于第二人臉圖像中，再對應用了第一人臉圖像的特征信息的第二人臉圖像進行色彩矯正，以得到第一人臉圖像與第二人臉圖像的人臉融合圖像，這樣得到的人臉融合圖像存在融合度較差，真實性低，且與參與人臉融合的原始圖像(如：第一人臉圖像和/或第二人臉圖像)相似度低等效果差的問題。

發明內容

本公開提供一種圖像生成模型的訓練方法、裝置、電子設備及存儲介質，以解決當前人臉融合得到的圖像與參與人臉融合的原始圖像相似度低，且真實性低的問題。

本公開的技術方案如下：

第一方面，本公開實施例提供一種圖像生成模型的訓練方法，該方法包括：獲取多個樣本人臉圖像；根據多個樣本人臉圖像訓練生成式對抗網絡，得到目標人臉生成網絡；生成式對抗網絡包括生成器和判別器；目標人臉生成網絡是根據訓練后的生成器構建的；根據多個樣本人臉圖像和目標人臉生成網絡訓練初始編碼器得到目標編碼器；初始編碼器是根據訓練后的判別器構建的；順序連接目標編碼器和目標人臉生成網絡得到目標圖像生成模型；目標圖像生成模型用于根據至少兩個人臉圖像生成至少兩個人臉圖像的融合人臉圖像。

本公開實施例中，目標人臉生成網絡與目標編碼器的訓練分開進行，且用于訓練目標編碼器的初始編碼器是根據訓練目標人臉生成網絡的判別器構建的，而訓練后的判別器具有很好的編碼能力，再根據目標人臉生成網絡作為監督訓練初始編碼器得到目標編碼器，這樣，目標編碼器能夠更準確的解析出人臉圖像的潛碼，目標人臉生成網絡根據目標編碼器解析得到的人臉圖像的潛碼，生成的融合人臉圖像與原始人臉圖像的相似度更高、真實性也更高。

在一種可能的實現方式中，上述根據多個樣本人臉圖像和目標人臉生成網絡訓練初始編碼器得到目標編碼器，包括：移除訓練后的判別器中的最后兩個全連接層得到初始編碼器；將多個樣本人臉圖像輸入初始編碼器，得到分別對應多個樣本人臉圖像的潛碼；將多個樣本人臉圖像的潛碼輸入目標人臉生成網絡，得到分別對應多個樣本人臉圖像的潛碼的預測人臉圖像；根據每個樣本人臉圖像和與每個樣本人臉圖像對應的預測人臉圖像，獲取多個第一損失；將每個預測人臉圖像輸入初始編碼器，得到分別對應每個預測人臉圖像的潛碼；根據每個樣本人臉圖像的潛碼和預測潛碼，獲取多個第二損失；預測潛碼為：與每個樣本人臉圖像的潛碼對應的預測人臉圖像的潛碼；根據多個第一損失和多個第二損失，訓練初始編碼器，得到目標編碼器。

本公開實施例中，第一損失可以使得利用該目標編碼器得到的潛碼生成的圖像與輸入目標編碼器的圖像保持像素級別的相似，第二損失可以使得利用該目標編碼器得到的潛碼生成的圖像與輸入目標編碼器的圖像保持語義級別的相似，從而進一步提高了，包括該目標編碼器的圖像生成模型生成的融合人臉圖像與原始圖像的相似性。