[發(fā)明專利]圖像生成模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110316298.7
• 申請日: 2021-03-24
• 公開（公告）號: CN113096055A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計）人: 鄧紅波
• 申請（專利權(quán)）人: 北京達佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 胡蓉

1.一種圖像生成模型的訓(xùn)練方法，其特征在于，所述方法包括：

獲取多個樣本人臉圖像；

根據(jù)所述多個樣本人臉圖像訓(xùn)練生成式對抗網(wǎng)絡(luò)，得到目標人臉生成網(wǎng)絡(luò)；所述生成式對抗網(wǎng)絡(luò)包括生成器和判別器；所述目標人臉生成網(wǎng)絡(luò)是根據(jù)訓(xùn)練后的所述生成器構(gòu)建的；

根據(jù)所述多個樣本人臉圖像和所述目標人臉生成網(wǎng)絡(luò)訓(xùn)練初始編碼器得到目標編碼器；所述初始編碼器是根據(jù)訓(xùn)練后的所述判別器構(gòu)建的；

順序連接所述目標編碼器和所述目標人臉生成網(wǎng)絡(luò)得到目標圖像生成模型；所述目標圖像生成模型用于根據(jù)至少兩個人臉圖像生成所述至少兩個人臉圖像的融合人臉圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述多個樣本人臉圖像和所述目標人臉生成網(wǎng)絡(luò)訓(xùn)練初始編碼器得到目標編碼器，包括：

移除訓(xùn)練后的所述判別器中的最后兩個全連接層得到所述初始編碼器；

將所述多個樣本人臉圖像輸入所述初始編碼器，得到分別對應(yīng)所述多個樣本人臉圖像的潛碼；

將所述多個樣本人臉圖像的潛碼輸入所述目標人臉生成網(wǎng)絡(luò)，得到分別對應(yīng)所述多個樣本人臉圖像的潛碼的預(yù)測人臉圖像；

根據(jù)每個樣本人臉圖像和與所述每個樣本人臉圖像對應(yīng)的預(yù)測人臉圖像，獲取多個第一損失；

將每個預(yù)測人臉圖像輸入所述初始編碼器，得到分別對應(yīng)所述每個預(yù)測人臉圖像的潛碼；

根據(jù)每個樣本人臉圖像的潛碼和預(yù)測潛碼，獲取多個第二損失；所述預(yù)測潛碼為：與所述每個樣本人臉圖像的潛碼對應(yīng)的預(yù)測人臉圖像的潛碼；

根據(jù)所述多個第一損失和所述多個第二損失，訓(xùn)練所述初始編碼器，得到所述目標編碼器。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述多個樣本人臉圖像訓(xùn)練生成式對抗網(wǎng)絡(luò)，得到目標人臉生成網(wǎng)絡(luò)，包括：

根據(jù)所述多個樣本人臉圖像分批次訓(xùn)練生成式對抗網(wǎng)絡(luò)；

根據(jù)預(yù)訓(xùn)練的檢測網(wǎng)絡(luò)獲取每批次訓(xùn)練得到的生成式對抗網(wǎng)絡(luò)的評價指標值；所述評價指標值為輸入人臉圖像與輸出人臉圖像的平均差異值；所述輸入人臉圖像為輸入所述訓(xùn)練得到的生成式對抗網(wǎng)絡(luò)的人臉圖像，所述輸出人臉圖像為所述訓(xùn)練得到的生成式對抗網(wǎng)絡(luò)融合所述輸入人臉圖像得到的人臉圖像；

在所述評價指標值小于或等于閾值時停止訓(xùn)練，并將訓(xùn)練得到的生成式對抗網(wǎng)絡(luò)作為所述目標人臉生成網(wǎng)絡(luò)。

4.一種圖像生成方法，其特征在于，所述生成方法包括：

獲取至少兩個人臉圖像；

將所述至少兩個人臉圖像輸入目標圖像生成模型的目標編碼器，分別得到所述至少兩個人臉圖像的潛碼；所述目標圖像生成模型是根據(jù)權(quán)利要求1-3任一項所述的圖像生成模型的訓(xùn)練方法訓(xùn)練得到的；

將所述至少兩個人臉圖像的潛碼進行融合，得到融合潛碼；

將所述融合潛碼輸入所述目標圖像生成模型的目標人臉生成網(wǎng)絡(luò)，生成人臉融合圖像。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述至少兩個人臉圖像的潛碼進行融合，得到融合潛碼，包括：

獲取所述至少兩個人臉圖像的潛碼的權(quán)重；

根據(jù)獲取的每個人臉圖像的潛碼的權(quán)重將所述至少兩個人臉圖像的潛碼進行融合，得到所述融合潛碼。

6.一種圖像生成模型的訓(xùn)練裝置，其特征在于，包括：

獲取模塊，被配置為獲取多個樣本人臉圖像；

第一訓(xùn)練模塊，被配置為根據(jù)所述多個樣本人臉圖像訓(xùn)練生成式對抗網(wǎng)絡(luò)，得到目標人臉生成網(wǎng)絡(luò)；所述生成式對抗網(wǎng)絡(luò)包括生成器和判別器；所述目標人臉生成網(wǎng)絡(luò)是根據(jù)訓(xùn)練后的所述生成器構(gòu)建的；

第二訓(xùn)練模塊，被配置為根據(jù)所述多個樣本人臉圖像和所述目標人臉生成網(wǎng)絡(luò)訓(xùn)練初始編碼器得到目標編碼器；所述初始編碼器是根據(jù)訓(xùn)練后的所述判別器構(gòu)建的；

生成模塊，被配置為順序連接所述目標編碼器和所述目標人臉生成網(wǎng)絡(luò)得到目標圖像生成模型；所述目標圖像生成模型用于根據(jù)至少兩個人臉圖像生成所述至少兩個人臉圖像的融合人臉圖像。