[發明專利]一種基于人臉關鍵點的人臉圖像融合方法

在審

• 申請號: 201911382548.6
• 申請日: 2019-12-27
• 公開（公告）號: CN113052783A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 張赟;肖敬;張王晟
• 申請（專利權）人: 杭州深繪智能科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06K9/00
• 代理公司: 上海聯科律師事務所 31350
• 代理人: 趙旭

1.一種基于人臉關鍵點的人臉圖像融合方法，其特征在于，包括以下步驟：

(a)獲取人臉關鍵點；

(b)通過獲取的人臉的關鍵點給出的眼睛、鼻子和嘴唇坐標點，畫出非空像素點的輪廓圖，再將輪廓圖與原圖結合操作從而得到了蒙版圖；

(c)當輸入的參考人臉已獲得蒙版圖后，需要將目標人臉對齊到原參考人臉；

(d)當用戶輸入的兩張圖片存在較大的顏色差別時，需要將目標人臉的顏色校準到和參考人臉的顏色接近；

(e)當人物的色彩矯正加權平均后，即可對參考圖片的面部進行融合。

2.根據權利要求1所述的人臉圖像融合方法，其特征在于，步驟(a)中還包括以下步驟：

(a1)首先實用卷積神經網絡檢測出輸入圖片的人臉；

(a2)再使用級聯回歸樹算法從像素強度的稀疏子集中估計人臉關鍵點的位置。

3.根據權利要求2所述的人臉圖像融合方法，其特征在于，步驟(a2)中還包括以下步驟:

(a21)、首先在卷積神經網絡識別出的人臉框中隨機選擇兩個點；

(a22)、計算訓練集中每一張圖片這兩個點處的像素值，得到每張圖片兩點處的像素差，從而得到樹的分裂閾值；

(a23)、根據閾值，使得樹分別左右分裂，將所有圖片分成左右兩部分；

(a24)重復若干次步驟(a21)-(a23)后，將分裂最好的結果保存；

(a25)將人臉框的每個點重復(a21)-(a24)步驟，即可得到的68個關鍵點。

4.根據權利要求1所述的人臉圖像融合方法，其特征在于，步驟(c)還包括以下步驟：

(c1)將所有樣本對齊到原點；

(c2)對訓練集中的多個樣本，任選一個樣本作為參考樣本，使其他樣本進行旋轉、縮放和平移與之對齊，假設選定的樣本是X1，得到集合(X1,X2,X3,……)

(c3)計算變化后形狀的平均形狀值X0；

(c4)將平均形狀值X0旋轉、縮放和平移與樣本X1對齊；

(c5)將除X1之外的集合(X2,X3,……)旋轉、縮放和平移，與調整后的平均形狀值對齊；

(c6)如果平均形狀值X0收斂，形狀對齊完成，算法停止，否則循環至步驟(c2)。

5.根據權利要求4所述的人臉圖像融合方法，其特征在于，其中步驟(c4)還可以設置為以下步驟：或者對平均形狀值X0進行標準版處理，使得|X0|＝1。

6.根據權利要求1所述的人臉圖像融合方法，其特征在于，步驟(d)中的圖像矯正方式是

7.根據權利要求1所述的人臉圖像融合方法，其特征在于，步驟(e)還包括以下步驟：

(e1)首先對目標人臉求其梯度場得到v；

(e2)再對參考人臉的背景求梯度場得到s；

(e3)將v覆蓋到s上得到待重建圖像的梯度場；

(e4)求解融合圖像的散度；

(e5)根據泊松重建方程Ax＝b，其中b為步驟d得到的散度，A為根據圖像的泊松方程得到的系數矩陣。