[發(fā)明專利]人臉替換方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201710493762.3
• 申請日: 2017-06-26
• 公開（公告）號: CN107316020B
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 馬兆遠(yuǎn);侯沛宏;郝君;梁冬雪
• 申請（專利權(quán)）人: 司馬大大（北京）智能系統(tǒng)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T13/40;G06T15/00
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 王寧寧

1.一種人臉替換方法，其特征在于，所述方法包括：

獲取原始視頻的目標(biāo)幀圖像，其中，所述目標(biāo)幀圖像為所述原始視頻的任意一幀圖像；

在所述目標(biāo)幀圖像中，確定第一人物的頭部區(qū)域；

對所述目標(biāo)幀圖像進(jìn)行背景修復(fù)，得到背景圖像，其中，所述背景圖像中去除了所述第一人物的頭部區(qū)域；

獲取第二人物的三維頭部模型，將所述三維頭部模型渲染到所述背景圖像中，得到第一圖像，其中，所述第一圖像包括所述第二人物的頭部區(qū)域、以及所述第一人物的軀干區(qū)域；

利用所述目標(biāo)幀圖像中的第一人物的人臉特征點(diǎn)與標(biāo)準(zhǔn)人臉模型的人臉特征點(diǎn)，獲取每種表情對應(yīng)的人臉表情模型的變形參數(shù)；

根據(jù)所述每種表情對應(yīng)的人臉表情模型的變形參數(shù)，利用高斯-牛頓方法，得到人臉表情混合模型；

利用所述目標(biāo)幀圖像中的第一人物的嘴部特征點(diǎn)與所述標(biāo)準(zhǔn)人臉模型的嘴部特征點(diǎn)，獲取每種表情對應(yīng)的嘴唇模型的變形參數(shù)；

根據(jù)所述每種表情對應(yīng)的嘴唇模型的變形參數(shù)，利用高斯-牛頓方法，得到嘴唇模型；

依據(jù)所述人臉表情混合模型及所述嘴唇模型，最終得到包括所述人臉表情混合模型和所述嘴唇模型的第一模型；

將所述第一模型渲染到所述第一圖像中，得到第二圖像。

2.如權(quán)利要求1所述的方法，其特征在于，獲取第二人物的三維頭部模型，將所述三維頭部模型渲染到所述背景圖像中，得到第一圖像的步驟，包括：

獲取所述第二人物的三維頭部模型；

獲取所述目標(biāo)幀圖像中第一人物頭部的空間姿態(tài)；

根據(jù)第一人物頭部的空間姿態(tài)，對所述第二人物的三維頭部模型進(jìn)行姿態(tài)調(diào)整；

將姿態(tài)調(diào)整后的三維頭部模型渲染到所述背景圖像中，得到渲染圖像，其中，所述渲染圖像的頭部區(qū)域是所述第二人物的三維頭部模型在所述背景圖像中的投影；

將所述渲染圖像的頭部區(qū)域與所述目標(biāo)幀圖像中第一人物的頭部區(qū)域進(jìn)行匹配，得到第一圖像。

3.如權(quán)利要求2所述的方法，其特征在于，將所述渲染圖像的頭部區(qū)域與所述目標(biāo)幀圖像中第一人物的頭部區(qū)域進(jìn)行匹配，得到第一圖像的步驟，包括：

檢測第一特征點(diǎn)，其中，所述第一特征點(diǎn)為所述渲染圖像的頭部區(qū)域的特征點(diǎn)；

檢測第二特征點(diǎn)，其中，所述第二特征點(diǎn)為所述目標(biāo)幀圖像中第一人物的頭部區(qū)域的特征點(diǎn)；

將所述第一特征點(diǎn)與所述第二特征點(diǎn)進(jìn)行仿射變換，從而將渲染圖像的頭部區(qū)域與所述目標(biāo)幀圖像中第一人物的頭部區(qū)域?qū)R；

根據(jù)所述目標(biāo)幀圖像的連續(xù)幀圖像中第一人物的頭部區(qū)域，對所述渲染圖像的頭部區(qū)域進(jìn)行高斯平滑，得到第一圖像。

4.如權(quán)利要求1所述的方法，其特征在于，將所述第一模型渲染到所述第一圖像中第二人物的頭部區(qū)域，得到第二圖像的步驟，包括：

將所述人臉表情混合模型渲染到所述第一圖像中第二人物的頭部區(qū)域，得到包含表情的第一圖像；

將所述嘴唇模型渲染到包含表情的第一圖像的嘴部區(qū)域，并進(jìn)行泊松融合，得到所述第二圖像。