[發(fā)明專利]人臉替換方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710493762.3
• 申請(qǐng)日: 2017-06-26
• 公開（公告）號(hào): CN107316020B
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 馬兆遠(yuǎn);侯沛宏;郝君;梁冬雪
• 申請(qǐng)（專利權(quán)）人: 司馬大大（北京）智能系統(tǒng)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T13/40;G06T15/00
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 王寧寧

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，提供一種人臉替換方法、裝置及電子設(shè)備，通過確定目標(biāo)幀圖像中第一人物的頭部區(qū)域，并將第二人物的三維頭部模型渲染到去除了第一人物的頭部區(qū)域的背景圖像中，得到包括第二人物的頭部區(qū)域、以及第一人物的軀干區(qū)域的第一圖像，可以保證人物頭部的完全替換，解決了現(xiàn)有技術(shù)中只替換臉部造成結(jié)果不真實(shí)的問題。另外，通過對(duì)目標(biāo)幀圖像中的第一人物進(jìn)行表情跟蹤，得到包括人臉混合模型和嘴唇模型的第一模型，再將第一模型渲染到第一圖像中第二人物的頭部區(qū)域，得到第二圖像，避免了現(xiàn)有技術(shù)中“嘴中嘴”的渲染結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種人臉替換方法、裝置及電子設(shè)備。

背景技術(shù)

隨著虛擬現(xiàn)實(shí)的發(fā)展，虛擬人臉技術(shù)(又稱“換臉”)也得到了極大的發(fā)展，例如應(yīng)用在電影角色替換方面。目前，虛擬人臉技術(shù)常用的一種實(shí)現(xiàn)方式是：首先，利用人臉檢測(cè)技術(shù)獲取目標(biāo)幀與素材幀的人臉特征點(diǎn)，并制作不同表情的三維模型；然后，通過計(jì)算目標(biāo)幀的人臉特征點(diǎn)與標(biāo)準(zhǔn)人臉的各特征點(diǎn)之間的相對(duì)偏移量，來控制各三維模型的變形程度，并進(jìn)行混合；最后，把素材幀的人臉特征點(diǎn)融合到混合模型上，完成渲染。

但是，由于人與人的頭型、臉型有差別，故只替換演員的臉部會(huì)使結(jié)果不夠真實(shí)。而且，人臉表情模型一般不包括嘴唇，當(dāng)演員張嘴的實(shí)際程度和人臉檢測(cè)API所獲得的嘴部特征點(diǎn)分布不一致時(shí)，就可能出現(xiàn)“嘴中嘴”的渲染結(jié)果。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種人臉替換方法、裝置及電子設(shè)備，用以改善上述問題。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例采用的技術(shù)方案如下：

第一方面，本發(fā)明提供了一種人臉替換方法，所述方法包括：獲取原始視頻的目標(biāo)幀圖像，其中，目標(biāo)幀圖像為原始視頻的任意一幀圖像；在目標(biāo)幀圖像中，確定第一人物的頭部區(qū)域；對(duì)目標(biāo)幀圖像進(jìn)行背景修復(fù)，得到背景圖像，其中，背景圖像中去除了第一人物的頭部區(qū)域；獲取第二人物的三維頭部模型，將三維頭部模型渲染到背景圖像中，得到第一圖像，其中，第一圖像包括第二人物的頭部區(qū)域、以及第一人物的軀干區(qū)域；利用標(biāo)準(zhǔn)人臉模型，對(duì)目標(biāo)幀圖像中的第一人物進(jìn)行表情跟蹤，得到第一模型，其中，第一模型包括人臉混合模型和嘴唇模型；將第一模型渲染到第一圖像中，得到第二圖像。

第二方面，本發(fā)明提供了一種人臉替換裝置，所述裝置包括目標(biāo)幀圖像獲取模塊、區(qū)域確定模塊、背景修復(fù)模塊、第一圖像獲得模塊、表情跟蹤模塊及第二圖像獲得模塊。其中，目標(biāo)幀圖像獲取模塊用于獲取原始視頻的目標(biāo)幀圖像，其中，目標(biāo)幀圖像為原始視頻的任意一幀圖像；區(qū)域確定模塊用于在目標(biāo)幀圖像中，確定第一人物的頭部區(qū)域；背景修復(fù)模塊用于對(duì)目標(biāo)幀圖像進(jìn)行背景修復(fù)，得到背景圖像，其中，背景圖像中去除了第一人物的頭部區(qū)域；第一圖像獲得模塊用于獲取第二人物的三維頭部模型，將三維頭部模型渲染到背景圖像中，得到第一圖像，其中，第一圖像包括第二人物的頭部區(qū)域、以及第一人物的軀干區(qū)域；表情跟蹤模塊用于利用標(biāo)準(zhǔn)人臉模型，對(duì)目標(biāo)幀圖像中的第一人物進(jìn)行表情跟蹤，得到第一模型，其中，第一模型包括人臉混合模型和嘴唇模型；第二圖像獲得模塊，用于將第一模型渲染到第一圖像中，得到第二圖像。