[發明專利]一種保持臉型不變的圖像換臉方法

有效

• 申請號: 202110415546.3
• 申請日: 2021-04-19
• 公開（公告）號: CN113160036B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 盧閏霆;陽文兵;馬文廣;馬偉;李冰;趙金
• 申請（專利權）人: 金科智融科技（珠海）有限公司;北京工業大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V10/44;G06V40/16;G06T5/00;G06T7/12;G06T7/13;G06T7/90
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種保持臉型不變的圖像換臉方法，其特征在于，具體步驟如下：

S101：獲取模版圖像，調整模版人臉姿態，生成對齊模版人臉圖像；讀入模版圖像后，檢測模版人臉所在位置，使用mtcnn模型預測模版人臉的五個關鍵點，獲得模版人臉的五個關鍵點坐標，與預先設置的標準正臉的五個關鍵點進行對齊，將用戶人臉平面歪頭的角度調整為零；然后對模版圖像人臉部分進行裁剪，保證模版人臉在圖像的中間位置；最后將對齊模版人臉圖像按照out_size×out_size的大小輸出；

S102：制作模版膚色圖像；采樣模版人臉部分的皮膚，通過復制拼接操作，生成一張與對齊模版人臉圖像同樣大小的模版膚色圖像；然后對拼接邊界處進行平滑處理，使拼接邊界處過度平滑；

S103：對對齊模版人臉圖像中的人臉進行瘦臉；復制S101中對齊模版人臉圖像，通過液化操作，對模版圖像中的人臉進行瘦臉，同時縮短模版人臉的下巴的高度，得到一張瘦臉后的對齊模版人臉圖像；

S104：生成模版人臉掩膜、模版頭發掩膜與模版額頭掩膜；使用人臉解析網絡，得到一張解析后的模版人臉分割圖像，從中提取出模版人臉掩膜、模版頭發掩膜與模版眉毛掩膜；然后尋找模版眉毛掩膜中，y軸坐標最小的點，將其y軸上的值記為dst_brow_y_min；最后復制模版人臉掩膜，將掩膜中y軸坐標大于dst_brow_y_min的點全部置為零，得到模版額頭掩膜；

將用戶人臉換到模版圖像的具體方法步驟如下：

S201：獲取用戶圖像，調整用戶人臉姿態，生成對齊用戶人臉圖像；

S202：將用戶人臉輪廓與模版人臉輪廓對齊；首先檢測對齊模版人臉與對齊用戶人臉的人臉關鍵點，這里采用的是人臉的81個關鍵點，提取對齊用戶人臉圖像關鍵點圈定的區域框圖，得到一張用戶人臉圖像；然后剔除掉模版人臉與用戶人臉關鍵點中嘴唇上的20個關鍵點，再使用剔除嘴唇關鍵點后的用戶人臉關鍵點對用戶人臉進行三角剖分；最后通過仿射變換對用戶人臉進行變形，使用戶人臉輪廓與模版人臉輪廓重合；

S203：點對點用戶人臉膚色轉換；獲取S103中瘦臉后的對其模版人臉與步驟S202中變形后的用戶人臉，對模版人臉圖像與變形后的用戶人臉圖像進行高斯模糊處理，得到兩個高斯模糊后的圖像，用高斯模糊后的模版圖像中的數值除對應位置的高斯模糊后的用戶圖像中的數值，得到一個與用戶人臉圖像同樣大小的系數矩陣，用這個矩陣點對點的與用戶人臉進行相乘，得到變換膚色后的用戶人臉；

S204：仿射變換將用戶人臉輪廓轉換為S202對齊前的輪廓；首先獲取S202中剔除了嘴唇關鍵點的模版人臉關鍵點與用戶人臉關鍵點；然后對S203中變換膚色后的用戶人臉進行仿射變換，將用戶人臉輪廓轉換為用戶進行步驟S202中與模版人臉輪廓對齊前的輪廓；最后用戶人臉關鍵點框定的區域，得到用戶人臉的掩膜，利用用戶人臉掩膜，將膚色轉換后的用戶人臉粘貼回對齊用戶人臉圖像，得到變換膚色后的對齊用戶人臉圖像；

S205：將變換膚色后的用戶人臉與模版膚色圖像柏松融合；具體的流程步驟如下：

(1)獲取S204中變換膚色后用戶人臉圖像，生成用戶人臉掩膜；

首先獲取S204中變換膚色后用戶人臉圖像，使用人臉解析網絡對用戶人臉進行解析，得到一張解析后的用戶人臉分割圖像，對用戶人臉分割圖像進行處理，生成用戶人臉掩膜與用戶眉毛掩膜；然后尋找用戶眉毛掩膜中y軸坐標最小的點，將其y軸上的值記為src_brow_y_min；

(2)檢測用戶人臉姿態，修正用戶人臉掩膜；

獲取步驟S204中的變換膚色后的對齊用戶人臉圖像，檢測用戶人臉關鍵點，設置標準人臉的3D人臉坐標，將用戶人臉的關鍵點坐標與標準人臉坐標進行比較，計算出用戶人臉姿態的旋轉向量，再通過旋轉向量計算出用戶人臉姿態的三個歐拉角：pitch、yaw、roll；三個歐拉角分別對應于標準正面人臉的人上下轉頭，左右轉頭，平面歪頭的角度大小，所以用戶人臉的歐拉角yaw的大小，就對應于用戶人臉左右轉頭程度的大小；

當yaw的絕對值大于角度時，判定用戶人臉左右外頭角度過大，需要對用戶的掩膜進行修正，使摳出的用戶人臉左右對稱；取值0.04到0.05之間任意值，當yaw的絕對值大于的時候，就對用戶人臉的掩膜進行修正；首先定義以垂直于用戶兩只眼睛中心的連線，且經過連線的中點的垂線為用戶人臉的中線；然后通過中線將用戶人臉掩膜分為左右兩部分；

當用戶人臉姿態的歐拉角yaw大于的時候，判定用戶向右轉頭，人臉偏向右側，用戶掩膜的右邊部分大于掩膜的左邊部分，將用戶掩膜右邊抹除；然后，將用戶掩膜的左邊部分沿著中線翻折到右邊，使掩膜左右兩邊沿中線對稱；當用戶人臉姿態的歐拉角yaw小于的時候，用戶向左轉頭，人臉偏向左側，用戶掩膜的左邊部分大于掩膜的右邊部分，將用戶掩膜左邊抹除，然后沿中線將用戶右邊部分沿中線翻折到左邊部分；

如果用戶人臉姿態的歐拉角yaw的絕對值小于等于則不對用戶人臉掩膜修改；通過得到的用戶人臉掩膜，從變換膚色后的用戶人臉圖像中摳出用戶人臉；

(3)通過模版人臉掩膜修改用戶人臉掩膜的大小；

分別獲取S104中的dst_brow_y_min與S205(1)中的src_brow_y_min，獲取步驟S104中的模版人臉掩膜與S205(2)中修改后的用戶人臉掩膜；首先分別檢測模版人臉掩膜與用戶人臉掩膜的bounding-box，得到bounding-box的左上角與右下角的坐標；將模版人臉掩膜的bounding-box的左上角與右下角的坐標記為(dst_x1，dst_y1)與(dst_x2，dst_y2)；將用戶人臉掩膜的bounding-box的左上角與右下角的坐標記為(src_x1，src_y1)與(src_x2，src_y2)；然后根據bounding-box對模版人臉掩膜與用戶人臉掩膜進行裁剪，得到裁剪后的模版用戶掩膜與裁剪后的用戶人臉掩膜；同時，獲取S204中的對齊用戶人臉圖像，通過用戶人臉掩膜的bounding-box對其進行剪裁，獲得剪裁后的用戶人臉圖像，保證用戶人臉掩膜與用戶人臉的對應；

然后分別將dst_distance和src_distance記錄為模版額頭的高度與用戶額頭的高度，其中dst_distance與src_distance計算公式如下：

dst_distance＝dst_brow_y_min-dst_y1

src_distance＝src_brow_y_min-src_y1

然后判斷dst_distance與src_distance的大小，如果dst_distance大于src_distance，則說明模版的額頭高度大于用戶的額頭高度，則修改dst_x1，令

dst_x1＝dst_brow_y_min+src_distance

如果dst_distance小于等于src_distance，則說明用戶的額頭高度大于模版的額頭高度，不做任何修改；

最后同時對剪裁后的用戶人臉掩膜與剪裁后的用戶人臉圖像做形變，使圖像的大小為(W，H)，其中W為圖像寬度，H為圖像高度；

W＝dst_x2-dst_x1

H＝dst_y2-dst_y1

(4)將用戶人臉與模版膚色圖像柏松融合，然后將模版的額頭與其再次柏松融合；

獲取S204的序號(3)中變形后的用戶人臉掩膜、用戶人臉與S102中的模版膚色圖像；首先將用戶人臉與模版膚色圖像進行柏松融合；由于用戶的額頭形狀與模版的額頭形狀不同，如果直接將融合后的用戶人臉摳出粘貼到瘦臉后的對齊模版圖像，額頭部分往往會出現難以貼合的問題，所以還會將模版的額頭與柏松融合后得到的圖像，再次進行柏松融合；獲取S104中的模版額頭掩膜與S101中的對齊模版人臉圖像，將模版額頭部分與用戶人臉柏松融合后的圖像再次柏松融合；

S206：利用用戶掩膜摳出用戶人臉，獲取預設瘦臉后的模版圖像；

獲取S205的序號(3)中變形后的用戶人臉掩膜與S104中模版額頭掩膜，獲取S205(1)中的src_brow_y_min；首先用戶掩膜中y軸坐標小于src_brow_y_min的部分掩膜替換為模版額頭掩膜，得到一個新的用戶人臉掩膜，使用新的用戶掩膜將S205中柏松融合后的人臉摳出，得到用戶人臉；然后獲取S103中瘦臉后的對齊模版人臉圖像，將用戶人臉粘貼到瘦臉后的對齊模版人臉圖像的對應位置；最后對粘貼后的用戶人臉邊緣做平滑處理；

S207：將模版的頭發粘貼上來，修復粘貼頭發后的邊緣；

獲取S104中的模版頭發掩膜與S101中的對齊模版人臉圖像；通過模版頭發掩膜得到模版頭發，將模版頭發粘貼到S206中得到的圖像的對應位置，然后對粘貼后的頭發邊緣進行平滑處理。