[發明專利]圖像的生成方法、裝置、存儲介質和電子設備

有效

• 申請號: 201910523643.7
• 申請日: 2019-06-17
• 公開（公告）號: CN110349081B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 胡歡;劉兆祥;廉士國
• 申請（專利權）人: 達闥科技（北京）有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V40/16;G06V40/10;G06V10/774
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏云鹿

本公開涉及一種圖像的生成方法、裝置、存儲介質和電子設備，涉及圖像處理技術領域，該方法包括：提取源圖像中包括的源人物的初始人臉特征向量和初始人體關鍵點，根據初始人臉特征向量和預設的人臉生成網絡，獲取目標人物的目標人臉特征點，根據訓練視頻，將初始人體關鍵點轉換為目標人物的目標人體關鍵點，訓練視頻為包括目標人物的視頻，根據目標人臉特征點、目標人體關鍵點和預設的人體生成網絡，獲取包括目標人物的目標圖像，目標圖像中目標人物的特征與源圖像中源人物的特征相同。能夠根據源人物的人臉特征和人體特征，生成目標圖像，使得目標圖像中的目標人物與源人物的表情、姿態和動作相同，從而實現人物的完整替換。

技術領域

本公開涉及圖像處理技術領域，具體地，涉及一種圖像的生成方法、裝置、存儲介質和電子設備。

背景技術

隨著計算機視覺和圖像處理技術的不斷發展，終端上能夠實現多種圖像處理的功能，以滿足用戶的各種社交和娛樂需求，尤其是人臉重演(英文：Face?Reenactment)功能，越來越受到用戶的關注。現有技術中，終端通常采用直接貼圖的方式來實現人臉重演，無法準確替換人物的表情，容易導致交換的效果失真，并且只能交換人臉，無法實現整個人物的交換。

發明內容

本公開的目的是提供一種圖像的生成方法、裝置、存儲介質和電子設備，用以解決現有技術中很難實現人物完整替換的問題。

為了實現上述目的，根據本公開實施例的第一方面，提供一種圖像的生成方法，該方法包括：

提取源圖像中包括的源人物的初始人臉特征向量和初始人體關鍵點，所述源圖像為包括所述源人物的源視頻中的任一幀圖像；

根據所述初始人臉特征向量和預設的人臉生成網絡，獲取目標人物的目標人臉特征點；

根據訓練視頻，將所述初始人體關鍵點轉換為所述目標人物的目標人體關鍵點，所述訓練視頻為包括所述目標人物的視頻；

根據所述目標人臉特征點、所述目標人體關鍵點和預設的人體生成網絡，獲取包括所述目標人物的目標圖像，所述目標圖像中所述目標人物的特征與所述源圖像中所述源人物的特征相同。

可選地，在所述根據所述初始人臉特征向量和預設的人臉生成網絡，獲取目標人物的目標人臉特征點之前，所述方法還包括：

根據所述訓練視頻對第一生成式對抗網絡GAN進行訓練，以使所述第一GAN中的生成器能夠生成包括所述目標人物的人臉特征點的圖像，并將訓練后的所述第一GAN中的生成器作為所述人臉生成網絡；

在所述根據所述目標人臉特征點、所述目標人體關鍵點和預設的人體生成網絡，獲取包括所述目標人物的目標圖像之前，所述方法還包括：

根據所述訓練視頻對第二GAN進行訓練，以使所述第二GAN中的生成器能夠生成包括所述目標人物的圖像，并將訓練后的所述第二GAN中的生成器作為所述人體生成網絡。

可選地，所述根據訓練視頻，將所述初始人體關鍵點轉換為所述目標人物的目標人體關鍵點，包括：

根據所述初始人體關鍵點對應的坐標，確定第一關鍵點與第二關鍵點的初始距離，所述第一關鍵點為所述初始人體關鍵點中的任一關鍵點，所述第二關鍵點為所述初始人體關鍵點中除所述第一關鍵點之外的任一關鍵點；

提取所述訓練視頻中每一幀訓練圖像包括的所述目標人物的訓練人體關鍵點；

根據每一幀所述訓練圖像包括的所述訓練人體關鍵點對應的坐標，確定每一幀所述訓練圖像中第三關鍵點與第四關鍵點的訓練距離，所述第三關鍵點為所述第一關鍵點對應在所述訓練人體關鍵點中的關鍵點，所述第四關鍵點為所述第二關鍵點對應在所述訓練人體關鍵點中的關鍵點；

確定多幀所述訓練圖像的所述訓練距離的最大距離和最小距離；