[發(fā)明專利]人臉五官貼圖生成方法

在審

• 申請?zhí)枺?/td>: 202211317330.4
• 申請日: 2022-10-26
• 公開（公告）號: CN115482339A
• 公開（公告）日: 2022-12-16
• 發(fā)明（設(shè)計）人: 杜華;王語堂;岳宗;趙朋飛
• 申請（專利權(quán)）人: 蘭州未來新影文化科技集團有限責任公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20
• 代理公司: 北京東方芊悅知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11591
• 代理人: 凌云

本發(fā)明涉及人臉五官貼圖生成方法，本發(fā)明通過生成目標人臉圖像表情和姿態(tài)且具有源人臉圖像紋理特征的第二人臉圖像；對齊人臉關(guān)鍵點坐標，確定人臉區(qū)域邊界；通過三角剖分生成人臉區(qū)域的泊松融合mask圖像和權(quán)重混合mask圖像，人臉五官劃分區(qū)域處理，通過三角剖分生成人臉五官區(qū)域的泊松融合mask圖像和權(quán)重混合mask圖像；人臉整體通道混合和泊松融合，人臉五官通道混合和泊松融合。本發(fā)明使得換臉結(jié)果既能保留視頻人臉的姿態(tài)和表情，又能保持比較自然的融合效果，使得人眼更難以分辨替換的痕跡。對于膚色和光照條件差異較大的人臉圖像，替換融合后的人臉更加自然，更加逼真。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉五官貼圖生成方法，屬于圖像處理技術(shù)領(lǐng)域。

背景技術(shù)

換臉FaceSwap是計算機視覺領(lǐng)域的一個存在許久的重要課題，換臉指的是將視頻里的某張人臉替換為用戶的人臉，要求保持視頻里人臉的姿態(tài)和表情，同時替換后人人臉與用戶人臉相似度高。

現(xiàn)有的換臉方案里，最終在人臉替換圖像融合階段，通常提取兩幅人臉的關(guān)鍵點，通過三角剖分的方法將對應(yīng)的三角形部分的紋理替換，然后對替換的區(qū)域整體圖像做泊松融合。

現(xiàn)有方法雖然保持了視頻人臉的表情和姿態(tài)，但是因為用戶的人臉和視頻人臉膚色或者光照條件差異往往比較大，融合后的人臉圖像在人臉邊界呈現(xiàn)不自然的融合效果。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)存在的不足，提供了人臉五官貼圖生成方法，具體技術(shù)方案如下：

人臉五官貼圖生成方法，包括以下步驟：

步驟一、通過人臉3DMM三維重建方法，生成目標人臉圖像表情和姿態(tài)且具有源人臉圖像紋理特征的第二人臉圖像；

步驟二、獲取第二人臉圖像和目標人臉的關(guān)鍵點坐標信息，計算第二人臉圖像的關(guān)鍵點到目標人臉關(guān)鍵點的平面剛體變換，通過平面剛體變換計算源人臉關(guān)鍵點對齊到目標人臉的的關(guān)鍵點坐標；

步驟三、生成整體人臉融合區(qū)域的泊松Mask圖像和權(quán)重混合Mask圖像，根據(jù)對齊到目標人臉的的關(guān)鍵點坐標，確定人臉融合邊界，對于非皮膚上的眉毛邊界，整體向外移動到額頭皮膚上，計算移動后的關(guān)鍵點三角剖分結(jié)構(gòu)，根據(jù)三角剖分生成兩組不同的Mask圖像；

步驟四、劃分人臉五官區(qū)域，根據(jù)五官分布，將對齊到目標人臉的的關(guān)鍵點劃分成不同區(qū)域的關(guān)鍵點，計算不同區(qū)域關(guān)鍵點的三角剖分結(jié)構(gòu)，根據(jù)三角剖分生成泊松融合Mask圖像和權(quán)重混合Mask圖像；

步驟五、整體人臉區(qū)域的像素通道融合和泊松融合，生成人臉圖像五官融合泊松的背景圖像；

步驟六、人臉五官分別進行像素通道融合和泊松融合，生成最終換臉所需的人臉五官貼圖。

作為上述技術(shù)方案的改進，在步驟一中，所述人臉3DMM三維重建方法包括以下步驟：

步驟S11、源人臉和視頻中目標人臉的三維重建

輸入源人臉和目標人臉的二維圖片，利用3DMM人臉三維重建方法求解源人臉和目標人臉的3DMM參數(shù)，3DMM參數(shù)包含形狀參數(shù)、表情參數(shù)、姿態(tài)參數(shù)；

其中，輸入目標人臉的視頻，人臉檢測提取人臉區(qū)域圖像，計算當前幀的3DMM參數(shù)；

3DMM人臉三維重建方法用到的重建表示公式為：

其中，表示平均人臉模型，S_i表示形狀對應(yīng)的主成分分析部分，α_i表示當前形狀的系數(shù)，e_i表示表情對應(yīng)的主成分分析部分，β_i表示當前表情相應(yīng)的系數(shù)；當前人臉圖像的三維形狀是平均形狀和m個基本形狀線性組合生成，當前人臉圖像的三維表情是平均表情和n個基本表情線性組合生成；