[發明專利]人臉五官貼圖生成方法

在審

• 申請號: 202211317330.4
• 申請日: 2022-10-26
• 公開（公告）號: CN115482339A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 杜華;王語堂;岳宗;趙朋飛
• 申請（專利權）人: 蘭州未來新影文化科技集團有限責任公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20
• 代理公司: 北京東方芊悅知識產權代理事務所(普通合伙) 11591
• 代理人: 凌云

1.人臉五官貼圖生成方法，其特征在于包括以下步驟：

步驟一、通過人臉3DMM三維重建方法，生成目標人臉圖像表情和姿態且具有源人臉圖像紋理特征的第二人臉圖像；

步驟二、獲取第二人臉圖像和目標人臉的關鍵點坐標信息，計算第二人臉圖像的關鍵點到目標人臉關鍵點的平面剛體變換，通過平面剛體變換計算源人臉關鍵點對齊到目標人臉的的關鍵點坐標；

步驟三、生成整體人臉融合區域的泊松Mask圖像和權重混合Mask圖像，根據對齊到目標人臉的的關鍵點坐標，確定人臉融合邊界，對于非皮膚上的眉毛邊界，整體向外移動到額頭皮膚上，計算移動后的關鍵點三角剖分結構，根據三角剖分生成兩組不同的Mask圖像；

步驟四、劃分人臉五官區域，根據五官分布，將對齊到目標人臉的的關鍵點劃分成不同區域的關鍵點，計算不同區域關鍵點的三角剖分結構，根據三角剖分生成泊松融合Mask圖像和權重混合Mask圖像；

步驟五、整體人臉區域的像素通道融合和泊松融合，生成人臉圖像五官融合泊松的背景圖像；

步驟六、人臉五官分別進行像素通道融合和泊松融合，生成最終換臉所需的人臉五官貼圖。

2.根據權利要求1所述的人臉五官貼圖生成方法，其特征在于，在步驟一中，所述人臉3DMM三維重建方法包括以下步驟：

步驟S11、源人臉和視頻中目標人臉的三維重建

輸入源人臉和目標人臉的二維圖片，利用3DMM人臉三維重建方法求解源人臉和目標人臉的3DMM參數，3DMM參數包含形狀參數、表情參數、姿態參數；

其中，輸入目標人臉的視頻，人臉檢測提取人臉區域圖像，計算當前幀的3DMM參數；

3DMM人臉三維重建方法用到的重建表示公式為：

其中，表示平均人臉模型，s_i表示形狀對應的主成分分析部分，α_i表示當前形狀的系數，e_i表示表情對應的主成分分析部分，β_i表示當前表情相應的系數；當前人臉圖像的三維形狀是平均形狀和m個基本形狀線性組合生成，當前人臉圖像的三維表情是平均表情和n個基本表情線性組合生成；

步驟S12、計算視頻人臉3DMM形狀參數統一解

篩選視頻中目標人臉處于正臉角度下的視頻幀人臉圖片，再篩選處于正臉角度下的視頻幀人臉圖片的形狀參數，計算一個平均形狀作為視頻人臉形狀參數統一解；

步驟S13、3DMM表情參數和姿態參數的優化

通過計算源人臉三維點中選取的關鍵點投影位置與源人臉68個關鍵點檢測位置之間的偏移量，對3DMM解算的表情參數和姿態參數進行優化；

步驟S14、組合生成新的3DMM形狀

獲取源人臉的形狀參數，獲取目標人臉的表情參數和姿態參數，將源人臉的形狀參數、目標人臉的表情參數和姿態參數進行組合生成替換人臉的3DMM形狀；

步驟S15、生成目標人臉圖像表情和姿態且具有源人臉圖像紋理特征的第二人臉圖像

將源人臉重建后的三維點云根據姿態參數轉換到相機坐標系，然后投影到源圖像上通過人臉關鍵點對齊尺度和平移，建立三維點和源人臉圖像像素的映射關系；再建立組合模型三維點和目標人臉圖像像素映射關系；對于組合模型投影到目標人臉圖像上的某個位置的像素值，通過仿射變換計算該位置坐標對應的源圖像人臉坐標，通過雙線性插值計算得到該位置的像素值。

3.根據權利要求2所述的人臉五官貼圖生成方法，其特征在于：

在步驟一中，通過組合源人臉的形狀參數和目標人臉的表情參數、姿態參數進行組合，生成組合模型；源人臉和目標人臉的紋理映射關系通過源人臉三維點云投影到源人臉圖像上的坐標位置和組合模型三維點云投影到目標人臉圖像上的坐標位置建立，同一個三維點對應的紋理坐標表示公式為：

X_projection＝s×P×R×S_combine+t

其中，S_combine表示組合模型的三維點，R為旋轉矩陣，s是尺度因子，P為正交的投影矩陣，t表示平移矩陣，X_projection表示人臉三維點坐標投影到人臉圖像上的二維投影點坐標。