[發(fā)明專利]人臉替換方法、裝置及電子設備

有效

• 申請?zhí)枺?/td>: 201710493762.3
• 申請日: 2017-06-26
• 公開（公告）號: CN107316020B
• 公開（公告）日: 2020-05-08
• 發(fā)明（設計）人: 馬兆遠;侯沛宏;郝君;梁冬雪
• 申請（專利權）人: 司馬大大（北京）智能系統(tǒng)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T13/40;G06T15/00
• 代理公司: 北京超凡志成知識產(chǎn)權代理事務所(普通合伙) 11371
• 代理人: 王寧寧

1.一種人臉替換方法，其特征在于，所述方法包括：

獲取原始視頻的目標幀圖像，其中，所述目標幀圖像為所述原始視頻的任意一幀圖像；

在所述目標幀圖像中，確定第一人物的頭部區(qū)域；

對所述目標幀圖像進行背景修復，得到背景圖像，其中，所述背景圖像中去除了所述第一人物的頭部區(qū)域；

獲取第二人物的三維頭部模型，將所述三維頭部模型渲染到所述背景圖像中，得到第一圖像，其中，所述第一圖像包括所述第二人物的頭部區(qū)域、以及所述第一人物的軀干區(qū)域；

利用所述目標幀圖像中的第一人物的人臉特征點與標準人臉模型的人臉特征點，獲取每種表情對應的人臉表情模型的變形參數(shù)；

根據(jù)所述每種表情對應的人臉表情模型的變形參數(shù)，利用高斯-牛頓方法，得到人臉表情混合模型；

利用所述目標幀圖像中的第一人物的嘴部特征點與所述標準人臉模型的嘴部特征點，獲取每種表情對應的嘴唇模型的變形參數(shù)；

根據(jù)所述每種表情對應的嘴唇模型的變形參數(shù)，利用高斯-牛頓方法，得到嘴唇模型；

依據(jù)所述人臉表情混合模型及所述嘴唇模型，最終得到包括所述人臉表情混合模型和所述嘴唇模型的第一模型；

將所述第一模型渲染到所述第一圖像中，得到第二圖像。

2.如權利要求1所述的方法，其特征在于，獲取第二人物的三維頭部模型，將所述三維頭部模型渲染到所述背景圖像中，得到第一圖像的步驟，包括：

獲取所述第二人物的三維頭部模型；

獲取所述目標幀圖像中第一人物頭部的空間姿態(tài)；

根據(jù)第一人物頭部的空間姿態(tài)，對所述第二人物的三維頭部模型進行姿態(tài)調(diào)整；

將姿態(tài)調(diào)整后的三維頭部模型渲染到所述背景圖像中，得到渲染圖像，其中，所述渲染圖像的頭部區(qū)域是所述第二人物的三維頭部模型在所述背景圖像中的投影；

將所述渲染圖像的頭部區(qū)域與所述目標幀圖像中第一人物的頭部區(qū)域進行匹配，得到第一圖像。

3.如權利要求2所述的方法，其特征在于，將所述渲染圖像的頭部區(qū)域與所述目標幀圖像中第一人物的頭部區(qū)域進行匹配，得到第一圖像的步驟，包括：

檢測第一特征點，其中，所述第一特征點為所述渲染圖像的頭部區(qū)域的特征點；

檢測第二特征點，其中，所述第二特征點為所述目標幀圖像中第一人物的頭部區(qū)域的特征點；

將所述第一特征點與所述第二特征點進行仿射變換，從而將渲染圖像的頭部區(qū)域與所述目標幀圖像中第一人物的頭部區(qū)域對齊；

根據(jù)所述目標幀圖像的連續(xù)幀圖像中第一人物的頭部區(qū)域，對所述渲染圖像的頭部區(qū)域進行高斯平滑，得到第一圖像。

4.如權利要求1所述的方法，其特征在于，將所述第一模型渲染到所述第一圖像中第二人物的頭部區(qū)域，得到第二圖像的步驟，包括：

將所述人臉表情混合模型渲染到所述第一圖像中第二人物的頭部區(qū)域，得到包含表情的第一圖像；

將所述嘴唇模型渲染到包含表情的第一圖像的嘴部區(qū)域，并進行泊松融合，得到所述第二圖像。