[發明專利]一種基于移動端的輕量級人臉自動化妝方法

有效

• 申請號: 201810146420.9
• 申請日: 2018-02-12
• 公開（公告）號: CN108257084B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 劉逸南;劉華;孫劍
• 申請（專利權）人: 北京中視廣信科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 席小東

1.一種基于移動端的輕量級人臉自動化妝方法，其特征在于，包括以下步驟：

步驟1，預建立離線的樣本庫；所述樣本庫存儲多個模板圖像；所述模板圖像是指帶妝樣本圖像，每個所述模板圖像已被標注人臉特征點；其中，所述人臉特征點包括臉部輪廓特征點、眉毛特征點、鼻子特征點、眼部特征點和嘴部特征點；

步驟2，獲取包含人臉的源圖像；

步驟3，對所述源圖像進行圖像預處理后，對預處理后的圖像進行人臉特征點檢測和標注，得到標注人臉特征點的源特征圖像SrcImg；

步驟4，將交互模式分為兩種交互模式，第一種交互模式：以源圖像為背景圖，實現模板圖像到源圖像的第一種交互模式；第二種交互模式：以模板圖像為背景圖，實現源圖像到模板圖像的第二種交互模式；

步驟5，根據目標妝容，從樣本庫中選擇并下載模板圖像D；

如果模板圖像到源圖像的第一種交互模式被觸發，則執行步驟6；如果源圖像到模板圖像的第二種交互模式被觸發，則執行步驟6和步驟7；

步驟6，將源特征圖像SrcImg和模板圖像D傳輸到妝容融合模塊，所述妝容融合模塊對源特征圖像SrcImg和模板圖像D進行妝容融合，輸出上妝后的效果圖R；具體包括：

步驟6.1，采用三角剖分的移動最小二乘法方法，對模板圖像D進行人臉變形，得到人臉變形后的模板人臉圖像WarpImg；其中，人臉變形后的模板人臉圖像WarpImg的人臉特征點與源特征圖像SrcImg的對應人臉特征點重合；

步驟6.2，根據源特征圖像SrcImg的臉部輪廓特征點，生成臉部輪廓圖；對臉部輪廓圖的內部進行白色填充，生成二值掩模圖像M，對二值掩模圖像M進行膨脹模糊處理，消除掩模邊緣鋸齒，形成新的掩模圖Mask；

步驟6.3，根據源特征圖像SrcImg的眼部特征點，判斷是否為睜眼，如果是睜眼，則根據眼部特征點，在新的掩模圖Mask的相應位置畫出眼部輪廓，并在眼部輪廓內填充黑色，然后執行步驟6.4；如果是閉眼，則直接執行步驟6.4；

步驟6.4，根據源特征圖像SrcImg的嘴部特征點，在新的掩模圖Mask的相應位置畫出嘴部輪廓，并在嘴部輪廓內填充黑色，由此生成最終的掩模圖Mask_Final；然后執行步驟6.5；

步驟6.5，將步驟6.1得到的人臉變形后的模板人臉圖像WarpImg、源特征圖像SrcImg和最終的掩模圖Mask_Final作為加權泊松融合的輸入，進行妝容融合，輸出上妝后的效果圖R；

步驟7，對效果圖R的膚色和妝容進行替換處理，再將顏色替換后的特征圖像FaceWarp的人臉替換區域faceROI和模板圖像D進行加權融合，得到人臉替換后的結果圖Result，具體包括：

步驟7.1，對效果圖R進行五官美化處理，具體為：對效果圖R進行人臉旋轉校正處理，得到旋轉后人臉正面圖像rotateSrc；然后，對人臉正面圖像rotateSrc進行眼睛放大處理，得到眼睛放大后的特征圖像eyeSrc；

步驟7.2，在眼睛放大后的特征圖像eyeSrc中，確定需要進行人臉替換的人臉替換區域faceROI；

步驟7.3，對人臉替換區域faceROI進行仿射變換處理，將人臉替換區域faceROI仿射到與模板圖像D的對應區域相同的位置和方向，得到變換后的人臉替換區域warpFaceROI；

步驟7.4，通過顏色查找法將特征圖像eyeSrc中的人臉替換區域warpFaceROI的人臉膚色和妝容轉換為模板圖像D的對應區域的膚色和妝容，得到顏色替換后的特征圖像FaceWarp；

步驟7.5，生成顏色替換后的特征圖像FaceWarp的人臉區域掩模圖像BinaryMask；

步驟7.6，以人臉區域掩模圖像BinaryMask作為加權值，采用下式對顏色替換后的特征圖像FaceWarp和模板圖像D進行加權融合，得到人臉替換后的結果圖Result：

其中：R_uv代表人臉替換后的結果圖Result的第u行第v列的像素點的像素值；

M_uv代表人臉區域掩模圖像BinaryMask的第u行第v列的像素點的像素值；

D_uv代表模板圖像D的第u行第v列的像素點的像素值；

F_uv代表顏色替換后的特征圖像FaceWarp的第u行第v列的像素點的像素值。