[發明專利]圖像生成、網絡訓練方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202110795545.6
• 申請日: 2021-07-14
• 公開（公告）號: CN113361490B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 曾豪;張唯;李林橙;陳柯宇;張智勐;丁彧;呂唐杰;范長杰;胡志鵬
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82;G06N3/0475;G06N3/094
• 代理公司: 深圳紫藤知識產權代理有限公司 44570
• 代理人: 黃威

1.一種人臉圖像的生成方法，其特征在于，包括：

獲取待替換人臉圖像和源人臉圖像；

從所述源人臉圖像提取對應的人臉身份特征，以及通過生成對抗網絡提取所述待替換人臉圖像對應的人臉屬性特征；

通過所述生成對抗網絡基于所述人臉屬性特征和所述人臉身份特征進行人臉生成，得到所述待替換人臉圖像對應的替換后人臉圖像；

從所述待替換人臉圖像提取對應的人臉身份特征；

通過所述生成對抗網絡提取所述替換后人臉圖像對應的人臉屬性特征；

通過所述生成對抗網絡，基于所述待替換人臉圖像對應的人臉身份特征和所述替換后人臉圖像對應的人臉屬性特征進行人臉生成，得到恢復后人臉圖像；

根據所述恢復后人臉圖像和所述待替換人臉圖像的相似度值，對所述生成對抗網絡的參數進行調整；

提取所述替換后人臉圖像的第一表情向量，以及所述待替換人臉圖像的第二表情向量；

基于所述第一表情向量和所述第二表情向量，對所述替換后人臉圖像的表情進行調整，得到所述待替換人臉圖像對應的最終替換后人臉圖像。

2.根據權利要求1所述的人臉圖像的生成方法，其特征在于，所述提取所述替換后人臉圖像的第一表情向量，以及所述待替換人臉圖像的第二表情向量，包括：

基于表情信息編碼模塊將所述替換后人臉圖像映射到表情向量空間中，得到所述替換后人臉圖像的第一表情向量；

基于所述表情信息編碼模塊將所述待替換人臉圖像映射到所述表情向量空間中，得到所述待替換人臉圖像的第二表情向量。

3.根據權利要求2所述的人臉圖像的生成方法，其特征在于，所述基于所述第一表情向量和所述第二表情向量，對所述替換后人臉圖像的表情進行調整，得到所述待替換人臉圖像對應的最終替換后人臉圖像，包括：

通過所述表情信息編碼模塊基于所述第一表情向量和所述第二表情向量，對所述替換后人臉圖像的表情進行調整，得到所述待替換人臉圖像對應的最終替換后人臉圖像。

4.根據權利要求2所述的人臉圖像的生成方法，其特征在于，所述基于所述第一表情向量和所述第二表情向量，對所述替換后人臉圖像的表情進行調整，得到所述待替換人臉圖像對應的最終替換后人臉圖像，包括：

計算所述第一表情向量和第二表情向量的向量距離；

基于所述向量距離對所述生成對抗網絡的參數進行調整；

在調整后，返回執行所述從所述源人臉圖像提取對應的人臉身份特征，以及通過生成對抗網絡提取所述待替換人臉圖像對應的人臉屬性特征的步驟，直到所述向量距離不高于預設向量距離閾值為止，將最后得到的替換后人臉圖像確定為最終的替換后人臉圖像。

5.根據權利要求1所述的人臉圖像的生成方法，其特征在于，所述通過所述生成對抗網絡基于所述人臉屬性特征和所述人臉身份特征進行人臉生成，得到所述待替換人臉圖像對應的替換后人臉圖像后，還包括：

從所述替換后人臉圖像提取對應的人臉身份特征；

根據所述源人臉圖像對應的人臉身份特征和所述替換后人臉圖像對應的人臉身份特征的匹配度，對所述替換后人臉圖像對應的人臉身份特征進行調整。

6.根據權利要求1-5任一項所述的人臉圖像的生成方法，其特征在于，所述從所述源人臉圖像提取對應的人臉身份特征，包括：

通過多個預設識別模型獲取所述源人臉圖像對應的多個人臉身份子特征；

對所述源人臉圖像對應的多個人臉身份子特征進行特征融合，得到源人臉圖像提取對應的人臉身份特征。