[發明專利]訓練人臉圖像合成模型的方法和裝置

有效

• 申請號: 202010300269.7
• 申請日: 2020-04-16
• 公開（公告）號: CN111539903B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V40/16;G06V10/82
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于訓練人臉圖像合成模型的方法，包括：

獲取待訓練的人臉圖像合成模型，所述待訓練的人臉圖像合成模型包括身份特征提取網絡、待訓練的紋理特征提取網絡以及待訓練的解碼器，所述身份特征提取網絡基于人臉識別網絡構建；

將樣本人臉圖像分別輸入至所述待訓練的紋理特征提取網絡和所述身份特征提取網絡，得到樣本人臉圖像的紋理特征和身份特征；

對所述樣本人臉圖像的紋理特征和身份特征進行拼接得到拼接特征，基于待訓練的解碼器對所述拼接特征解碼，得到樣本人臉圖像對應的合成人臉圖像；

提取所述樣本人臉圖像對應的合成人臉圖像的身份特征，基于所述樣本人臉圖像的身份特征和對應的合成人臉圖像的身份特征之間的差異確定人臉圖像合成誤差，并基于所述人臉圖像合成誤差迭代調整所述待訓練的紋理特征提取網絡和所述待訓練的解碼器的參數。

2.根據權利要求1所述的方法，其中，所述基于所述人臉圖像合成誤差迭代調整所述待訓練的紋理特征提取網絡和所述待訓練的解碼器的參數，包括：

將所述待訓練的人臉圖像合成模型作為生成對抗網絡中的生成器，基于預設的監督函數，采用對抗訓練的方式對所述待訓練的人臉圖像合成模型和所述生成對抗網絡中的判別器的參數進行迭代調整；

其中，所述判別器用于對所述待訓練的人臉圖像合成模型生成的人臉圖像是否為合成的人臉圖像進行判別；

所述預設的監督函數包括表征所述人臉圖像合成誤差的損失函數。

3.根據權利要求1所述的方法，其中，所述基于所述樣本人臉圖像的身份特征和對應的合成人臉圖像的身份特征之間的差異確定人臉圖像合成誤差，包括：

基于所述樣本人臉圖像的身份特征和對應的合成人臉圖像的身份特征之間的相似度，確定所述人臉圖像合成誤差。

4.根據權利要求1所述的方法，其中，所述基于所述樣本人臉圖像的身份特征和對應的合成人臉圖像的身份特征之間的差異確定人臉圖像合成誤差，包括：

基于所述樣本人臉圖像的身份特征和對應的合成人臉圖像的身份特征分別對所述樣本人臉圖像和所述合成人臉圖像進行人臉識別；

根據所述樣本人臉圖像和所述合成人臉圖像的人臉識別結果之間的差異確定所述人臉圖像合成誤差。

5.根據權利要求1-4任一項所述的方法，其中，所述方法還包括：

采用經過訓練的人臉圖像合成模型對第一人臉圖像和第二人臉圖像進行合成，得到融合所述第一人臉圖像的紋理特征和所述第二人臉圖像的身份特征的合成圖像。

6.一種用于訓練人臉圖像合成模型的裝置，包括：

獲取單元，被配置為獲取待訓練的人臉圖像合成模型，所述待訓練的人臉圖像合成模型包括身份特征提取網絡、待訓練的紋理特征提取網絡以及待訓練的解碼器，所述身份特征提取網絡基于人臉識別網絡構建；

提取單元，被配置為將樣本人臉圖像分別輸入至所述待訓練的紋理特征提取網絡和所述身份特征提取網絡，得到樣本人臉圖像的紋理特征和身份特征；

解碼單元，被配置為對所述樣本人臉圖像的紋理特征和身份特征進行拼接得到拼接特征，基于待訓練的解碼器對所述拼接特征解碼，得到樣本人臉圖像對應的合成人臉圖像；

誤差反向傳播單元，被配置為提取所述樣本人臉圖像對應的合成人臉圖像的身份特征，基于所述樣本人臉圖像的身份特征和對應的合成人臉圖像的身份特征之間的差異確定人臉圖像合成誤差，并基于所述人臉圖像合成誤差迭代調整所述待訓練的紋理特征提取網絡和所述待訓練的解碼器的參數。

7.根據權利要求6所述的裝置，其中，所述誤差反向傳播單元包括：

調整單元，被配置為按照如下方式迭代調整所述待訓練的紋理特征提取網絡和所述待訓練的解碼器的參數：

將所述待訓練的人臉圖像合成模型作為生成對抗網絡中的生成器，基于預設的監督函數，采用對抗訓練的方式對所述待訓練的人臉圖像合成模型和所述生成對抗網絡中的判別器的參數進行迭代調整；

其中，所述判別器用于對所述待訓練的人臉圖像合成模型生成的人臉圖像是否為合成的人臉圖像進行判別；

所述預設的監督函數包括表征所述人臉圖像合成誤差的損失函數。