[發明專利]樣本生成及模型訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202210475907.8
• 申請日: 2022-04-29
• 公開（公告）號: CN114936963A
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 周密;洪偉;姜波;胡光龍
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/269;G06T7/254;G06T3/40;G06T9/00;G06N3/04;G06N3/08;G06V40/16;G06V10/764
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海

1.一種樣本生成方法，其特征在于，包括：

將第一生物對象的第一基準圖像和所述第一生物對象的驅動圖像輸入樣本圖像生成模型，以通過所述樣本圖像生成模型獲得所述第一生物對象從第一基準圖像變換到驅動圖像的動作信息；

將第二生物對象的第二基準圖像輸入所述樣本圖像生成模型，以通過所述樣本圖像生成模型對所述第二基準圖像中所述第二生物對象的圖像特征進行提取，由所述樣本圖像生成模型基于所述圖像特征和所述動作信息生成所述第二生物對象的樣本圖像。

2.根據權利要求1所述的樣本生成方法，其特征在于，所述樣本圖像生成模型包括關鍵點提取器和動作估計模塊；

將第一生物對象的第一基準圖像和所述第一生物對象的驅動圖像輸入樣本圖像生成模型，以通過所述樣本圖像生成模型獲得所述第一生物對象從第一基準圖像變換到驅動圖像的動作信息，包括：

通過所述關鍵點提取器對所述第一基準圖像中所述第一生物對象的目標關鍵點進行提取，以獲得對應的第一特征圖；以及，

通過所述關鍵點提取器對所述驅動圖像中所述第一生物對象的目標關鍵點進行提取，以獲得對應的第二特征圖；

由所述動作估計模塊根據所述第一特征圖和所述第二特征圖估計相應的目標關鍵點由所述第一特征圖變換至所述第二特征圖所需發生的動作變化，以獲得相應的動作信息。

3.根據權利要求2所述的樣本生成方法，其特征在于，所述關鍵點提取器為U-Net全卷積神經網絡，包括多級第一卷積網絡和多級第二卷積網絡，所述多級第一卷積網絡和所述多級第二卷積網絡鏡像對稱；

通過所述關鍵點提取器對所述第一基準圖像中所述第一生物對象的目標關鍵點進行提取，以獲得對應的第一特征圖，包括：

通過所述多級第一卷積網絡對所述第一基準圖像進行多級卷積操作和最大池化操作，以獲得所述第一基準圖像的第一子特征圖；

通過所述多級第二卷積網絡對所述第一子特征圖進行多級卷積操作和上采樣操作，以獲得所述第一特征圖；

通過所述關鍵點提取器對所述驅動圖像中所述第一生物對象的目標關鍵點進行提取，以獲得對應的第二特征圖，包括：

通過所述多級第一卷積網絡對所述驅動圖像進行多級卷積操作和最大池化操作，以獲得所述驅動圖像的第二子特征圖；

通過所述多級第二卷積網絡對所述第二子特征圖進行多級卷積操作和上采樣操作，以獲得所述第二特征圖；

其中，所述多級第二卷積網絡中第一級的輸入為所述多級第一卷積網絡的輸出，所述多級第二卷積網絡中除所述第一級之外的其他各第二卷積網絡的輸入包括，相鄰的上一級第二卷積網絡的輸出、以及同級對稱的第一卷積網絡的輸出。

4.一種樣本圖像生成模型訓練方法，其特征在于，包括：

將參考生物對象的源圖像和所述參考生物對象的目標圖像輸入待訓練模型，以通過所述待訓練模型估計所述參考生物對象從所述源圖像變換到目標圖像的動作信息；

將所述源圖像輸入所述待訓練模型，通過所述待訓練模型對所述源圖像中所述參考生物對象的圖像特征進行提取，由所述待訓練模型基于所述圖像特征和所述動作信息生成所述參考生物對象的合成圖像；

根據所述合成圖像與所述目標圖像之間的損失函數訓練所述待訓練模型，直到達到訓練停止條件，將達到所述訓練停止條件的所述待訓練模型作為樣本圖像生成模型。

5.根據權利要求4所述的樣本圖像生成模型訓練方法，其特征在于，所述樣本圖像生成模型訓練方法還包括：

將所述合成圖像與所述目標圖像輸入判別器，通過所述判別器基于所述目標圖像對所述合成圖像進行分類，以獲得分類結果；

根據所述分類結果的損失函數訓練所述判別器；

根據所述合成圖像與所述目標圖像之間的損失函數訓練所述待訓練模型，直到達到訓練停止條件，包括：

根據所述合成圖像與所述目標圖像之間的損失函數、以及根據所述分類結果的損失函數訓練所述待訓練模型，直到達到所述訓練停止條件。