[發明專利]面部合成

有效

• 申請號: 201810082732.8
• 申請日: 2018-01-29
• 公開（公告）號: CN110097606B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 陳棟;聞芳;華剛;鮑建敏
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06V40/16;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 北京世輝律師事務所 16093
• 代理人: 王俊

1.一種電子設備，包括：

處理單元；

存儲器，所述存儲器被耦合到所述處理單元并且存儲用于由所述處理單元執行的指令，所述指令當由所述處理單元執行時，使得所述設備執行操作，所述操作包括：

獲取關于第一用戶的面部的第一圖像和關于第二用戶的面部的第二圖像；

從所述第一圖像提取第一特征，所述第一特征表征所述第一用戶的第一身份；

從所述第二圖像提取第二特征，所述第二特征表征所述第二圖像的除所述第二用戶的第二身份之外的多個屬性；以及

基于所述第一特征和所述第二特征，使用學習網絡來生成關于所述第一用戶的面部的第三圖像，所述學習網絡先前通過最小化所述第二圖像和所述第三圖像之間的第一重建損失并保留所述第二圖像的所述多個屬性中的一個或多個屬性，同時最小化所述第一圖像和所述第三圖像之間的第二重建損失而被訓練，所述第三圖像體現所述第一用戶的所述第一身份和所述第二圖像的所述多個屬性。

2.根據權利要求1所述的設備，其中提取所述第一特征包括：

利用用于面部合成的所述學習網絡中的第一子網絡從所述第一圖像提取所述第一特征，所述第一特征提取自所述第一子網絡中的至少一層。

3.根據權利要求2所述的設備，其中提取所述第二特征包括：

利用所述學習網絡中的第二子網絡從所述第二圖像提取所述第二特征，所述第二特征提取自所述第二子網絡中的至少一層。

4.根據權利要求3所述的設備，其中生成所述第三圖像包括：

利用所述學習網絡中的第三子網絡基于所述第一特征和所述第二特征來生成所述第三圖像，所述第一子網絡和所述第二子網絡的輸出耦合至所述第三子網絡的輸入。

5.一種電子設備，包括：

處理單元；

存儲器，所述存儲器被耦合到所述處理單元并且存儲用于由所述處理單元執行的指令，所述指令當由所述處理單元執行時，使得所述設備執行操作，所述操作包括：

獲取關于第一用戶的面部的第一圖像和關于第二用戶的面部的第二圖像，所述第一圖像利用所述第一用戶的第一身份被標注；以及

基于所述第一圖像和所述第二圖像來訓練用于面部合成的學習網絡，使得所述學習網絡：

從所述第一圖像提取第一特征，所述第一特征表征所述第一用戶的所述第一身份；

從所述第二圖像提取第二特征，所述第二特征表征所述第二圖像的除所述第二用戶的第二身份之外的多個屬性；以及

基于所述第一特征和所述第二特征，使用學習網絡來生成關于所述第一用戶的面部的第三圖像，所述學習網絡先前通過最小化所述第二圖像和所述第三圖像之間的第一重建損失并保留所述第二圖像的所述多個屬性中的一個或多個屬性，同時最小化所述第一圖像和所述第三圖像之間的第二重建損失而被訓練，所述第三圖像體現所述第一用戶的所述第一身份和所述第二圖像的所述多個屬性。

6.根據權利要求5所述的設備，其中所述學習網絡包括第一子網絡，并且訓練所述學習網絡包括：

訓練所述第一子網絡，使得所述第一子網絡從所述第一圖像提取所述第一特征。

7.根據權利要求6所述的設備，其中所述學習網絡包括第二子網絡，并且訓練所述學習網絡包括：

訓練所述第二子網絡，使得所述第二子網絡從所述第二圖像提取所述第二特征。

8.根據權利要求7所述的設備，其中所述學習網絡包括第三子網絡，所述第一子網絡和所述第二子網絡的輸出耦合至所述第三子網絡的輸入，并且訓練所述學習網絡包括：

訓練所述第三子網絡，使得所述第三子網絡基于所述第一特征和所述第二特征來生成所述第三圖像。

9.根據權利要求8所述的設備，其中所述學習網絡包括第四子網絡，所述第一子網絡的輸入和所述第三子網絡的輸出耦合至所述第四子網絡的輸入，并且訓練所述學習網絡包括：

訓練所述第四子網絡，使得所述第四子網絡將所述第一圖像和所述第三圖像分類為關于同一用戶。