[發明專利]面部合成

有效

• 申請號: 201810082732.8
• 申請日: 2018-01-29
• 公開（公告）號: CN110097606B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 陳棟;聞芳;華剛;鮑建敏
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06V40/16;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 北京世輝律師事務所 16093
• 代理人: 王俊

根據本公開的實現，提出了一種用于面部合成的方案。在該方案中，關于第一用戶的面部的第一圖像和關于第二用戶的面部的第二圖像被獲取。從第一圖像中提取表征第一用戶的身份的第一特征。從第二圖像中提取表征第二圖像的多個屬性的第二特征，其中多個屬性不包括第二用戶的身份。然后，基于第一特征和第二特征來生成關于第一用戶的面部的第三圖像，第三圖像體現第一用戶的身份和第二圖像的多個屬性。根據本公開的面部合成方案能夠對任何身份的面部圖像進行基于身份保留的圖像合成，而不管具有該身份的人物的面部圖像是否存在于訓練數據集中。此外，在訓練用于進行上述面部合成的模型時，該方案不需要對除人物身份之外的任何其他屬性進行標注。

背景技術

面部合成是計算機視覺和計算機圖形學領域富有挑戰性的課題之一，其可以廣泛地應用于人機交互、影視廣告、計算機游戲、遠程會議、輔助教學等許多領域。面部合成是指將多幅面部圖像的相應屬性合成到輸出面部圖像中的技術。在此所述的“屬性”包括但不限于圖像中的人物身份、臉部姿態、表情、圖像的照明度、圖像背景等等。在面部合成技術中，基于身份保留的面部合成是面臨挑戰的技術問題。在此所述的“基于身份保留的面部合成”是指在將第一面部圖像和第二面部圖像合成為輸出面部圖像時，在輸出面部圖像中保留第一面部圖像中的人物身份但是體現第二面部圖像中除人物身份之外的其他屬性。

面部合成通常依賴于面部合成模型來實現，面部合成模型可以預先利用一組面部圖像來被訓練。一些傳統方案試圖實現上述基于身份保留的面部合成，然而它們在模型訓練方面往往存在諸多限制，因此期望實現更為通用的基于身份保留的面部合成。

發明內容

根據本公開的實現，提出了一種用于面部合成的方案。在該方案中，待合成的關于第一用戶的面部的第一圖像和關于第二用戶的面部的第二圖像被獲取。從第一圖像中提取表征第一用戶的身份的第一特征。從第二圖像中提取表征第二圖像的多個屬性的第二特征，其中多個屬性不包括第二用戶的身份。然后，基于第一特征和第二特征來生成關于第一用戶的面部的第三圖像，第三圖像體現第一用戶的身份和第二圖像的多個屬性。根據本公開的面部合成方案能夠對任何身份的面部圖像進行基于身份保留的圖像合成，而不管具有該身份的人物的面部圖像是否存在于訓練數據集中。此外，在訓練用于進行上述面部合成的模型時，該方案不需要對除人物身份之外的任何其他屬性進行標注。

提供發明內容部分是為了簡化的形式來介紹對概念的選擇，其在下文的具體實施方式中將被進一步描述。發明內容部分無意標識要求保護的主題的關鍵特征或主要特征，也無意限制要求保護的主題的范圍。

附圖說明

圖1示出了能夠實施本公開的多個實現的計算設備的框圖；

圖2示出了根據本公開的一些實現的用于面部合成的系統框圖；

圖3示出了根據本公開的實現的用于面部合成的示例學習網絡；

圖4示出了根據本公開一些實現的用于訓練學習網絡的過程的流程圖；以及

圖5示出了根據本公開一些實現的用于面部合成的過程的流程圖。

這些附圖中，相同或相似參考符號用于表示相同或相似元素。

具體實施方式

現在將參照若干示例實現來論述本公開。應當理解，論述了這些實現僅是為了使得本領域普通技術人員能夠更好地理解且因此實現本公開，而不是暗示對本主題的范圍的任何限制。

如本文所使用的，術語“包括”及其變體要被解讀為意味著“包括但不限于”的開放式術語。術語“基于”要被解讀為“至少部分地基于”。術語“一個實現”和“一種實現”要被解讀為“至少一個實現”。術語“另一個實現”要被解讀為“至少一個其他實現”。術語“第一”、“第二”等等可以指代不同的或相同的對象。下文還可能包括其他明確的和隱含的定義。

示例環境